<div id="readability-page-1" class="page"><div>
 
 <div id="SE-66388877-3dcf-4c18-8237-13ab75c4f82c">
 <a href="#" onclick="return false;" data-linktype="img" data-linkdata="{&quot;id&quot; : &quot;SE-66388877-3dcf-4c18-8237-13ab75c4f82c&quot;, &quot;src&quot; : &quot;https://mblogthumb-phinf.pstatic.net/MjAyNTExMDZfMjM2/MDAxNzYyMzg5NzMxNjE5.aprDl3LM7ynb0SUSu23QjZhueRHd6FxupBRQjOHMXUwg.vCoIuy0XX-ctCRwz2S3KlwdnY58xC998-_YTzIXXigUg.PNG/%EC%8A%A4%ED%81%AC%EB%A6%B0%EC%83%B7_2025-11-06_%EC%98%A4%EC%A0%84_9.42.10.png&quot;, &quot;originalWidth&quot; : &quot;965&quot;, &quot;originalHeight&quot; : &quot;477&quot;, &quot;linkUse&quot; : &quot;false&quot;, &quot;link&quot; : &quot;&quot; }">
 <img src="https://mblogthumb-phinf.pstatic.net/MjAyNTExMDZfMjM2/MDAxNzYyMzg5NzMxNjE5.aprDl3LM7ynb0SUSu23QjZhueRHd6FxupBRQjOHMXUwg.vCoIuy0XX-ctCRwz2S3KlwdnY58xC998-_YTzIXXigUg.PNG/%EC%8A%A4%ED%81%AC%EB%A6%B0%EC%83%B7_2025-11-06_%EC%98%A4%EC%A0%84_9.42.10.png?type=w800" data-width="693" data-height="342" alt="">
 </a>
 
 
 </div>
 <div id="SE-f40de3e3-61db-4de4-82e8-bcc5e362bf7e">
 <ul><li>kafka 2.3 까지 default partitioner 였다.</li><li>프로듀서가 6개의 메시지를 전송하고 파티션이 5개 있는 토픽<ul><li>라운드 로빈 방식이면 순차적으로 메시지가 분배가 된다.</li></ul></li><li>이 방법은 파티션당 배치가 하나이고 배치당 메시지가 하나이기에<ul><li>배치의 크기가 아주 작아진다.</li><li>따라서 최적의 방법이 아니다.</li><li>작은 크기의 배치가 많아서 요청 수와 지연 시간이 증가하기 때문</li></ul></li></ul>​​​​스티키 파티셔너
 </div> <div id="SE-e2397f06-99d9-4f7e-b4f6-7593c6d7838f">
 <a href="#" onclick="return false;" data-linktype="img" data-linkdata="{&quot;id&quot; : &quot;SE-e2397f06-99d9-4f7e-b4f6-7593c6d7838f&quot;, &quot;src&quot; : &quot;https://mblogthumb-phinf.pstatic.net/MjAyNTExMDZfMTEg/MDAxNzYyMzg5ODIxNjUz.e24E2gnmXOiB0K1DBDbqXiNly5NHLHQ_JUkMJVrTUb8g.-2i-LLoBBHqysl3H4sMUHZzRcLIWVgCI36ifr3XZ9VYg.PNG/%EC%8A%A4%ED%81%AC%EB%A6%B0%EC%83%B7_2025-11-06_%EC%98%A4%EC%A0%84_9.43.40.png&quot;, &quot;originalWidth&quot; : &quot;958&quot;, &quot;originalHeight&quot; : &quot;515&quot;, &quot;linkUse&quot; : &quot;false&quot;, &quot;link&quot; : &quot;&quot; }">
 <img src="https://mblogthumb-phinf.pstatic.net/MjAyNTExMDZfMTEg/MDAxNzYyMzg5ODIxNjUz.e24E2gnmXOiB0K1DBDbqXiNly5NHLHQ_JUkMJVrTUb8g.-2i-LLoBBHqysl3H4sMUHZzRcLIWVgCI36ifr3XZ9VYg.PNG/%EC%8A%A4%ED%81%AC%EB%A6%B0%EC%83%B7_2025-11-06_%EC%98%A4%EC%A0%84_9.43.40.png?type=w800" data-width="693" data-height="372" alt="">
 </a>
 
 
 </div>
 <div id="SE-4476edd5-bdc5-48ce-91ff-9dec6611538e">
 <ul><li>카프카 2.4부터는 스티키 파티셔너를 사용함<ul><li>성능이 라운드 로빈에 비해서 많이 향상되고</li><li>처리량이 많고 키가 null 일 때 많이 향상된다.</li></ul></li><li>레코드가 한 배치로 묶여서 동일한 파티션에 전송되고 다음 배치를 처리한다.<ul><li>배치가 다 차거나 linger.ms가 될 때까지 한 파티션에 고정된 후 배치를 전송한다.</li></ul></li><li>배치 크기가 늘어나고 요청의 크기가 늘어나 배치가 다 차기 쉬워져 지연 시간이 줄어들게 된다.</li></ul>​​​정리​결국 파티셔너의 역할은 다음과 같이 정리할 수 있다.<ul><li>토픽의 어떤 파티션으로 전송할지 결정한다.</li><li>해당 파티션으로 전송하기 전에 message batch 에 메시지를 채운다.<ul><li>파티셔닝 전략 (라운드 로빈 전략 / 스티키 파티셔닝 전략) 에 따라 message batch 를 채우는 방식이 달라진다.</li></ul></li></ul>​​​​#카프카 #kafka #partitioner #파티셔너 #카프카파티셔너 #라운드로빈파티셔너 #스티키파티셔너 #roundrobinpartitioner #stickypartitioner
 </div> </div></div>

나만의공간。

KIM JUNGHWAN

라운드 로빈 파티셔너 kafka 2.3 까지 default partitioner 였다. 프로듀서가 6개의 메시지를 전송하고 파티션이 5개 있는 토픽 라운드 로빈 방식이면 순차적으로 메시지가 분배가 된다. 이 방법은 파티션당 배치가 하나이고 배치당 메시지가 하나이기에 배치의 크기가 아주 작아진다. 따라서 최적의 방법이 아니다. 작은 크기의 배치가 많아서 요청 수와 지연 시간이 증가하기 때문 스티키 파티셔너 카프카 2.4부터는 스티키 파티셔너를 사용함 성능이 라운드 로빈에 비해서 많이 향상되고 처리량이 많고 키가 null 일 때 많이 향상된다. 레코드가 한 배치로 묶여서 동일한 파티션에 전송되고 다음 배치를 처리한다. 배치가 다 차거나 linger.ms.......

[kafka] 라운드 로빈 파티셔너 / 스티키 파티셔너

댓글