<div id="readability-page-1" class="page"><div>
 <div id="SE-b3ddab46-487f-44f6-b853-11c53d700061">
 Partitioner 동작 방식​kafka Producer 는 내부에 Partitioner 를 가지고 있고 이 Partitioner 는 여러가지 파티션 분배 전략을 선택할 수 있다. Partitioner 는 파티션 분배 전략에 따라 데이터를 파티션에 분배하게 된다. 좀 더 정확히는 Partitioner 가 개별 message 를 파티션에 direct 로 분배하는게 아니라 partition 으로 전달될 message batch 를 우선 구성하고 이 message batch 를 partition 에 전송하게 된다.​
 </div> <div id="SE-ea1c636a-28af-4827-9d6c-00ec4c5d9edf">
 <a href="#" onclick="return false;" data-linktype="img" data-linkdata="{&quot;id&quot; : &quot;SE-ea1c636a-28af-4827-9d6c-00ec4c5d9edf&quot;, &quot;src&quot; : &quot;https://mblogthumb-phinf.pstatic.net/MjAyNTEwMjNfNCAg/MDAxNzYxMTg0NzM1ODUy.jlojMcrnm7enI59ijw2xC9x4SXVDFFBJWsnawzKGWYQg.Q36p_a4w6HTuRUmi_GiltmtenLA1Skh1sG4VNU11pJsg.PNG/partitioner.png&quot;, &quot;originalWidth&quot; : &quot;1624&quot;, &quot;originalHeight&quot; : &quot;774&quot;, &quot;linkUse&quot; : &quot;false&quot;, &quot;link&quot; : &quot;&quot; }">
 <img src="https://mblogthumb-phinf.pstatic.net/MjAyNTEwMjNfNCAg/MDAxNzYxMTg0NzM1ODUy.jlojMcrnm7enI59ijw2xC9x4SXVDFFBJWsnawzKGWYQg.Q36p_a4w6HTuRUmi_GiltmtenLA1Skh1sG4VNU11pJsg.PNG/partitioner.png?type=w800" data-width="693" data-height="330" alt="">
 </a>
 
 </div>
 <div id="SE-b5bae8cb-f031-4809-b3bd-be8435b9fc10">
 ​위 이미지를 보면 Partitioner 가 round robin 방식으로 message batch 를 채우는걸 볼 수 있다. 그리고, 각 message batch 가 가득차면 topic A 의 partition 으로 전달되고 있다. 즉, partitioner 전략에 따라 message batch 를 채운다고 이해하면 될듯하다.​위 이미지에서는 round robin 방식이다보니 batch 0 -&gt; batch 1 -&gt; batch 2 순서로 메시지를 채우게 된다. 따라서, message batch 가 가득차기까지의 시간이 sticky 방식에 비해 더 오래 걸리게 된다. 결과적으로 message batch 가 linger.ms 시간동안 다 안차게 될 경우 batch.size 보다 적은 message 가 전달되게 될 수 있다. ​이와 다르게 sticky 방식은 batch 0 에 우선 데이터를 쭉 넣어서 가득차면 partition 으로 보내고, 그 다음 batch 1 에 쭉 채워서 partition 으로 또 보내는 방식이다. 좀 더 효율적이라 볼 수 있다.​kafka 2.4 이전에는 default partitioner 전략이 round robin 이었는데 kafka 2.4 부터는 sticky 방식으로 바뀌었다.​​​Kafka Producer 의 Partitioner 종류​<ul><li>DefaultPartitioner - 기본(org.apache.kafka.clients.producer.DefaultPartitioner)<ul><li>키가 없는 경우, Sticky Partitioning 전략을 사용한다.</li><li>키가 있는 경우, 키를 hash 변환하여 같은 키는 같은 partiton 에 전달된다.</li></ul></li><li>RoundRobinPartitioner(org.apache.kafka.clients.producer.RoundRobinPartitioner)<ul><li>이름에서 알수있듯 들어온 순서에 따라 균등하게 파티션으로 분배한다.</li></ul></li><li>UniformStickyPartitioner(org.apache.kafka.clients.producer.UniformStickyPartitioner)<ul><li>DefaultPartitioner 에서 설명한것과 동일</li></ul></li><li>RandomPartitioner(org.apache.kafka.clients.producer.UniformStickyPartitioner)<ul><li>메세지의 키를 무작위로 선택하여 파티션에 할당한다.</li></ul></li></ul>​​​Kafka Producer 의 내부 배치 전송 구조​producer 는 내부에 파티셔너를 통해 배치 생성 단계를 거친다. 파티셔너는 전략에 따라 어느 파티션에 전송할지 정한다. 파티셔너에 의해 (어느 파티션에 전송할지) 구분된 레코드는 Accumulator 에서 데이터를 버퍼로 쌓아놓고 버퍼로 쌓인 데이터는 배치로 묶여서 Sender 에 의해 파티션에 전송된다.
 </div> <div id="SE-f11cfeb9-51f2-419c-a634-4c6c1aaa48e7">
 <blockquote>
 ProducerRecord -&gt; send 호출 -&gt; Partitioner -&gt; Accumulator 내부에 토픽별로 배치를 만들어 저장 -&gt; sender -&gt; 카프카 클러스터
 </blockquote>
 </div>
 <div id="SE-553f7e0c-4e58-4643-9c3f-0ab6e65a5b3b">
 <a href="#" onclick="return false;" data-linktype="img" data-linkdata="{&quot;id&quot; : &quot;SE-553f7e0c-4e58-4643-9c3f-0ab6e65a5b3b&quot;, &quot;src&quot; : &quot;https://mblogthumb-phinf.pstatic.net/MjAyNTEwMjNfODgg/MDAxNzYxMTg0NzY0Nzgy.f2XVvM8APmBz0xEnN0XEOmGcuRA_I7QXNwgdz9WVfWwg.rl3yrAeCUJV-oNgYf4jozIQ6vT1wze2cTz5axd7kg7Ag.PNG/img.png&quot;, &quot;originalWidth&quot; : &quot;2488&quot;, &quot;originalHeight&quot; : &quot;852&quot;, &quot;linkUse&quot; : &quot;false&quot;, &quot;link&quot; : &quot;&quot; }">
 <img src="https://mblogthumb-phinf.pstatic.net/MjAyNTEwMjNfODgg/MDAxNzYxMTg0NzY0Nzgy.f2XVvM8APmBz0xEnN0XEOmGcuRA_I7QXNwgdz9WVfWwg.rl3yrAeCUJV-oNgYf4jozIQ6vT1wze2cTz5axd7kg7Ag.PNG/img.png?type=w800" data-width="693" data-height="237" alt="">
 </a>
 
 </div>
 <div id="SE-d40c3b5d-6854-4b5c-9819-97fd7b91aa56">
 ​​​#kafka #카프카 #카프카프로듀서 #kafkaproducer #kafka파티셔너 #카프카파티셔너 #kafkaPartitioner 
 </div> </div></div>

나만의공간。

KIM JUNGHWAN

Partitioner 동작 방식 kafka Producer 는 내부에 Partitioner 를 가지고 있고 이 Partitioner 는 여러가지 파티션 분배 전략을 선택할 수 있다. Partitioner 는 파티션 분배 전략에 따라 데이터를 파티션에 분배하게 된다. 좀 더 정확히는 Partitioner 가 개별 message 를 파티션에 direct 로 분배하는게 아니라 partition 으로 전달될 message batch 를 우선 구성하고 이 message batch 를 partition 에 전송하게 된다. 위 이미지를 보면 Partitioner 가 round robin 방식으로 message batch 를 채우는걸 볼 수 있다. 그리고, 각 message batch 가 가득차면 topic A 의 partition 으로 전달되고 있다. 즉, partitioner 전략에 따라 message bat.......

[kafka] Partitioner (producer)

댓글