<div id="readability-page-1" class="page"><div>
 
 <div id="SE-4b1c4d15-652f-4fb5-a7c5-184190902643">
 kafka 에서 컨슈머 그룹으로 컨슈머를 묶을수 있다. 컨슈머 그룹은 topic - partiton 에서 어디까지 메시지를 읽었는지 offset 을 metadata로 기록한다. 이 offset 기록과 kafka offset reset 설정 (latest / earliest) 을 통해 원하는 부분부터 메시지를 읽을수 있다. 일반적으로 이 offset 기록을 보고 안 읽은 메시지부터 순차적으로 메시지를 읽게 된다. ​'안 읽은 메시지부터 순차적으로 읽을수 있다' 를 반대로 생각하면 '의도치 않게 이미 읽은 메시지를 중복으로 여러번 처리하지 않는다' 이다.​상황에 따라 이미 처리한 메시지를 다른 용도로 또 처리를 해야하는 경우도 있을수 있다. 이런 경우는 위에서 말한 consumer-group 과 offset reset 설정을 통해 자유롭게 조절 가능하다.​
 </div> <div id="SE-692ba7ed-f66a-4ba0-913e-b90c22d18184">
 <a href="#" onclick="return false;" data-linktype="img" data-linkdata="{&quot;id&quot; : &quot;SE-692ba7ed-f66a-4ba0-913e-b90c22d18184&quot;, &quot;src&quot; : &quot;https://mblogthumb-phinf.pstatic.net/MjAyNTEwMThfNjkg/MDAxNzYwNzY2NDUzNTk2.V0eS6jmzI9_pq_YPRM-0SUOSmkYTTeqn7PQpBIv0IXkg.2Je8zCA5IXL9yuLH0weZk5gkPXBCfggJnuZw7CLh4Fcg.PNG/image.png&quot;, &quot;originalWidth&quot; : &quot;1920&quot;, &quot;originalHeight&quot; : &quot;1080&quot;, &quot;linkUse&quot; : &quot;false&quot;, &quot;link&quot; : &quot;&quot; }">
 <img src="https://mblogthumb-phinf.pstatic.net/MjAyNTEwMThfNjkg/MDAxNzYwNzY2NDUzNTk2.V0eS6jmzI9_pq_YPRM-0SUOSmkYTTeqn7PQpBIv0IXkg.2Je8zCA5IXL9yuLH0weZk5gkPXBCfggJnuZw7CLh4Fcg.PNG/image.png?type=w800" data-width="693" data-height="389" alt="">
 </a>
 
 </div>
 <div id="SE-92e94abb-ce10-4c09-85ab-3c411d0dc742">
 ​<ul><li>consumer : 카프카 메시지를 처리 (consume) 하는 주체</li><li>consumer group : <ul><li>1개 이상의 컨슈머를 그룹으로 묶는 단위</li><li>consumer group 으로 묶인 consumer 들은 topic 의 같은 partition 을 consume 할 수 없다.</li><li>consumer group 은 topic 의 partition 에서 읽은 메시지의 offset 을 </li></ul></li><li>offset (current-offset) : <ul><li>offset : message 의 순서를 나타내는 고유 번호 (0부터 시작)</li><li>current-offset : 다음으로 읽을 메시지의 오프셋 번호. current 라고 해서 'current-offset 까지 읽었다' 고 생각할 수 있는데, '이제 읽을 번호' 라고 생각하는게 맞을듯 하다.</li></ul></li></ul>​​
 </div> <div id="SE-9ce08911-dc3b-4bc7-a561-6aa9b58c66fc">
 <a href="#" onclick="return false;" data-linktype="img" data-linkdata="{&quot;id&quot; : &quot;SE-9ce08911-dc3b-4bc7-a561-6aa9b58c66fc&quot;, &quot;src&quot; : &quot;https://mblogthumb-phinf.pstatic.net/MjAyNTEwMThfMjUy/MDAxNzYwNzY2NDcwMTcx.EzLxczp8KwTBJGIQThf6JrlzzgRov9PAhxDMvxTtaUog.H7tQqtLewORswUJHPfNILg4jbOC6tOaUMyr5lwwpT7gg.PNG/image.png&quot;, &quot;originalWidth&quot; : &quot;1920&quot;, &quot;originalHeight&quot; : &quot;1080&quot;, &quot;linkUse&quot; : &quot;false&quot;, &quot;link&quot; : &quot;&quot; }">
 <img src="https://mblogthumb-phinf.pstatic.net/MjAyNTEwMThfMjUy/MDAxNzYwNzY2NDcwMTcx.EzLxczp8KwTBJGIQThf6JrlzzgRov9PAhxDMvxTtaUog.H7tQqtLewORswUJHPfNILg4jbOC6tOaUMyr5lwwpT7gg.PNG/image.png?type=w800" data-width="693" data-height="389" alt="">
 </a>
 
 </div>
 <div id="SE-e468e3a8-534e-4560-970f-b7bd10d6f1be">
 위 캡쳐화면에 있는 정보는 다음과 같이 해석할 수 있다.<ul><li>group : email-send-group =&gt; 현재 조회한 그룹명은 email-send-group 이다.</li><li>topic : email.send =&gt; 현재 조회한 topic 명은 email.send 이다.</li><li>partition : 0 =&gt; email.send 토픽에는 0 번 partition 이 존재한다. (정확히는 0번 partition 만 존재)</li><li>current-offset : 4 =&gt; 0, 1, 2, 3 메시지를 읽었고 이제 4번 offset 의 메시지를 읽을 차례이다.</li><li>log-end-offset : 4 =&gt; producer 가 가장 마지막에 쓴 메시지의 다음 위치</li><li>lag : 0<ul><li>consume 이 지연되고 있는 메시지 수 (log-end-offset - current-offset) </li><li>0 = 지연되고 있는 메시지가 없다.</li></ul></li></ul>​​​
 </div> 
 <div id="SE-629eaffd-8f77-4239-8d2e-9722ef11e70b">
 ​​#kafka #consumergroup #offset #currentoffset #partition
 </div> </div></div>

나만의공간。

KIM JUNGHWAN

kafka 에서 컨슈머 그룹으로 컨슈머를 묶을수 있다. 컨슈머 그룹은 topic - partiton 에서 어디까지 메시지를 읽었는지 offset 을 metadata로 기록한다. 이 offset 기록과 kafka offset reset 설정 (latest / earliest) 을 통해 원하는 부분부터 메시지를 읽을수 있다. 일반적으로 이 offset 기록을 보고 안 읽은 메시지부터 순차적으로 메시지를 읽게 된다. '안 읽은 메시지부터 순차적으로 읽을수 있다' 를 반대로 생각하면 '의도치 않게 이미 읽은 메시지를 중복으로 여러번 처리하지 않는다' 이다. 상황에 따라 이미 처리한 메시지를 다른 용도로 또 처리를 해야하는 경우도 있을수 있다. 이런 경우는 위에서 말한 consu.......

[kafka] consumerGroup 과 offset

댓글