<div id="readability-page-1" class="page"><div>
    
    <article>
        <ul id="markdown-toc">
  <li><a href="#example-scenario" id="markdown-toc-example-scenario">예제 시나리오</a>    <ul>
      <li><a href="#join-one-consumer" id="markdown-toc-join-one-consumer">컨슈머 하나가 참여한다</a></li>
      <li><a href="#join-one-more-consumer" id="markdown-toc-join-one-more-consumer">컨슈머 하나가 더 참여한다</a></li>
      <li><a href="#add-partition" id="markdown-toc-add-partition">파티션을 하나 더 늘려보자</a></li>
      <li><a href="#add-partition-2" id="markdown-toc-add-partition-2">파티션을 또 하나 더 늘려보자</a></li>
      <li><a href="#consumer3" id="markdown-toc-consumer3">컨슈머를 또 추가해보자</a></li>
      <li><a href="#consumer-died" id="markdown-toc-consumer-died">컨슈머 하나가 죽었다고 해보자</a></li>
    </ul>
  </li>
  <li><a href="#consumer-rebalance" id="markdown-toc-consumer-rebalance">컨슈머 리밸런스</a>    <ul>
      <li><a href="#eager-rebalance" id="markdown-toc-eager-rebalance">eager rebalance</a></li>
      <li><a href="#cooperative-rebalance" id="markdown-toc-cooperative-rebalance">cooperative rebalance</a></li>
    </ul>
  </li>
  <li><a href="#참고문헌" id="markdown-toc-참고문헌">참고문헌</a></li>
</ul>

<h2 id="example-scenario">예제 시나리오</h2>

<ul>
  <li>브로커 A - 토픽 A에 파티션이 1개 있다.</li>
</ul>

<p><img src="https://johngrib.github.io/resource/8E/2BC882-483A-4878-8B45-23C239057272/partition1-consumer0.svg" alt=""></p>

<h3 id="join-one-consumer">컨슈머 하나가 참여한다</h3>

<ul>
  <li>컨슈머가 Consumer Group A 로 참여한다.
    <ul>
      <li>토픽 파티션이 1개 있고, 컨슈머 그룹 내 컨슈머가 1개가 된다.</li>
      <li>그룹이 생긴다.</li>
      <li>가장 먼저 그룹에 참여한 컨슈머가 그룹 리더가 된다.</li>
    </ul>
  </li>
</ul>

<p><img src="https://johngrib.github.io/resource/8E/2BC882-483A-4878-8B45-23C239057272/partition1-consumer1.svg" alt=""></p>

<h3 id="join-one-more-consumer">컨슈머 하나가 더 참여한다</h3>

<ul>
  <li>Consumer Group A에 컨슈머를 하나 더 참여시켜보자.
    <ul>
      <li>파티션 하나를 여러 컨슈머가 처리할 수 없도록 되어 있다.</li>
      <li>따라서 추가된 컨슈머는 노는 상태가 된다.
        <ul>
          <li>파티션보다 컨슈머가 많은 경우에는 노는 컨슈머가 생긴다.</li>
        </ul>
      </li>
    </ul>
  </li>
</ul>

<p><img src="https://johngrib.github.io/resource/8E/2BC882-483A-4878-8B45-23C239057272/partition1-consumer2.svg" alt=""></p>

<h3 id="add-partition">파티션을 하나 더 늘려보자</h3>

<ul>
  <li>토픽 A에 파티션을 하나 더 늘려보자.
    <ul>
      <li>놀고 있던 컨슈머(Consumer 1)가 노는 것을 멈추고 추가된 파티션을 처리하게 된다.</li>
    </ul>
  </li>
</ul>

<p><img src="https://johngrib.github.io/resource/8E/2BC882-483A-4878-8B45-23C239057272/partition2-consumer2.svg" alt=""></p>

<h3 id="add-partition-2">파티션을 또 하나 더 늘려보자</h3>

<ul>
  <li>토픽 A에 파티션을 하나 또 늘려보자.
    <ul>
      <li>추가된 파티션은 기존 컨슈머들 중 하나가 처리하게 된다.</li>
    </ul>
  </li>
</ul>

<p><img src="https://johngrib.github.io/resource/8E/2BC882-483A-4878-8B45-23C239057272/partition3-consumer2.svg" alt=""></p>

<h3 id="consumer3">컨슈머를 또 추가해보자</h3>

<ul>
  <li>컨슈머를 하나 더 추가해보자.
    <ul>
      <li>컨슈머 rebalance가 일어난다.</li>
      <li>즉, 컨슈머들끼리 파티션 소유권을 나누게 된다.</li>
    </ul>
  </li>
</ul>

<p><img src="https://johngrib.github.io/resource/8E/2BC882-483A-4878-8B45-23C239057272/partition3-consumer3.svg" alt=""></p>

<h3 id="consumer-died">컨슈머 하나가 죽었다고 해보자</h3>

<ul>
  <li>컨슈머 하나에 장애가 발생해서 죽었다고 해보자.
    <ul>
      <li>이번에도 컨슈머 rebalance가 일어난다.</li>
    </ul>
  </li>
</ul>

<p><img src="https://johngrib.github.io/resource/8E/2BC882-483A-4878-8B45-23C239057272/partition3-consumer2-disabled1.svg" alt=""></p>

<h2 id="consumer-rebalance">컨슈머 리밸런스</h2>

<blockquote>
  <p>TODO: 별도 문서로 분리해야 할 듯.</p>
</blockquote>

<p>컨슈머 rebalance는 두 가지 전략 중 하나를 선택할 수 있다.</p>

<ul>
  <li>eager rebalance</li>
  <li>cooperative reblance
    <ul>
      <li><a href="https://www.confluent.io/ko-kr/blog/apache-kafka-3-1-version-features-and-updates/#eager-rebalance-protocol">3.1 버전부터 cooperative rebalance가 기본값이다</a>.</li>
    </ul>
  </li>
</ul>

<h3 id="eager-rebalance">eager rebalance</h3>

<p>조급한 리밸런스(eager rebalance)는 모든 컨슈머의 작업을 중지시켜 놓고 다시 할당받는 전략이다.</p>

<ol>
  <li>각 컨슈머는 작업을 멈춘다.</li>
  <li>각 컨슈머는 할당되었던 파티션에 대한 소유권을 포기한다.</li>
  <li>각 컨슈머는 컨슈머 그룹에 다시 join 하여, 파티션을 다시 할당받는다.</li>
</ol>

<h3 id="cooperative-rebalance">cooperative rebalance</h3>

<p>협력적 리밸런스(cooperative rebalance)는 'stop the world' 없이 점진적으로 리밸런스를 수행하는 전략이다.</p>

<h2 id="참고문헌">참고문헌</h2>

<ul>
  <li><a href="https://www.confluent.io/blog/cooperative-rebalancing-in-kafka-streams-consumer-ksqldb/">From Eager to Smarter in Apache Kafka Consumer Rebalances (confluent.io)</a></li>
  <li><a href="https://www.confluent.io/ko-kr/blog/apache-kafka-3-1-version-features-and-updates/#eager-rebalance-protocol">KAFKA-13439: The eager rebalance protocol is deprecated (confluent.io)</a></li>
</ul>


    </article>


    
    
    



</div></div>

기계인간 John Grib

JohnGrib

카프카 관련 설명할 일이 있을 때마다 쓰려고 그려둔 그림들

카프카 설명용 그림

댓글