<div id="readability-page-1" class="page"><div id="SE-1c3efb91-6dfd-4adc-a593-04f3a29c7461">
 ISR (In-Sync-Replicas)​- 리더 파티션과 팔로워 파티션의 offset 이 동일(sync) 하다.- 리더 파티션과 팔로워 파티션의 offset 이 동일하지 않으면 팔로워 파티션은 ISR 에 포함되지 않는다.​​​ISR 에 포함되지 않은 브로커 파티션과 리더 파티션 장애​팔로워 파티션들이 리더 파티션의 데이터를 모두 복제하지 못한 상태에서 리더 파티션이 장애가 나면 어떻게 해야할까? 두가지 옵션이 있다.​- unclean.leader.election.enable: true- unclean.leader.election.enable: false​true 로 하는 경우, 팔로워 파티션에 데이터가 복제되지 않았더라도 (= 데이터 유실) 해당 파티션을 리더로 승급해서 서비스를 지속한다.​false 로 하는 경우, 팔로워 파티션은 데이터가 복제되지 않아서 ISR 에 포함되지 않았으면 리더 브로커 (리더 파티션) 이 복구될 때까지 서비스는 중단된다.​​​acks : 성능과 신뢰성의 trade off (일반적으로 복제개수를 2 로 운영)​- 0 :  - producer 가 리더 파티션으로 데이터 전송 후, 데이터가 리더 파티션에 저장되었는지 확인하지 않음 (속도는 빠르지만 신뢰도는 굉장히 낮음) - 네트워크 이슈 혹은 브로커 장애로 인해 리더 파티션에 데이터 도달 안했더라도 무조건 ok 처리됨 - 일부 유실이 발생하더라도 전송 속도가 중요한 경우에 많이 사용함 (ex. gps 데이터)- 1 : - producer 가 리더 파티션으로 데이터 전송 후, 리더 파티션에 정상적으로 적재되었는지 확인 (acks: 0 에 비해 신뢰도는 조금 높음) - 리더 파티션에 정상적으로 적재되지 않으면 리더 파티션에 적재될 때까지 재시도할 수 있음 - 리더 파티션에 적재가 되더라도 팔로워 파티션에 복제가 제대로 됐는지까지는 알수 없음 - 팔로워 파티션에 복제가 제대로 되기 전에 리더 파티션에 장애 발생시 동기화가 되지 못한 데이터는 유실될 수 있다. - 일반적으로 거의 문제없음. 따라서 대부분의 환경에서 acks: 1 (defualt) 로 사용함- all (-1) :  - producer 가 리더 파티션에 데이터 전송 후, 리더 파티션에 정상적으로 적재되고 팔로워 파티션들까지 복제가 제대로 되었는지 확인 (처리량 상당히 낮음, 신뢰도는 굉장히 높음) - 데이터 처리량이 너무 낮아서 거의 쓰기 힘들정도라고 함​​​acks 를 보내는 기준 : - replication-factor 와는 관계없다. replication-factor 는 replication 복제를 몇개의 팔로워 파티션에 할건지 정하는 옵션이다. - (토픽 단위 설정) min.insync.replicas 가 실제 acks 를 보내는 기준이다. replication-factor 가 3 이더라도, min.insync.replicas 가 2 라면 리더 + 팔로워 1개, 총 2개의 파티션에 복제가 되면 acks 를 보낸다. - 보통 2 정도로 설정하면 잘 동작한다.​​​Consumer 와 min.insync.replicas (하이 워터마크)​아래 이미지에서처럼 리더파티션과 팔로워파티션 2개의 offset 이 다른 경우, consumer 는 몇번 offset 까지 consume 할 수 있을까? ​min.insync.replicas = 2 로 했을때를 기준으로 설명하겠다. 아래 이미지를 보면 offset 2 까지는 팔로워 파티션 (브로커#1) 에 복제가 완료된걸 볼 수 있다. 즉, offset 2 까지는 min.insync.replicas = 2 옵션을 충족한다. 이 경우, consumer 는 offset 2 까지 consume 이 가능하다.​이렇게 min.insync.replicas 개수 만큼 복제가 완료되어 컨슈머가 가져갈 수 있는 상태의 레코드의 오프셋 번호를 '하이 워터마크' 라고 부른다.
 </div><div id="SE-44b60b87-77c1-4e19-bd0d-1814222ef638">
 ​​​#kafka #acks #isr #카프카 #acks보내는기준 #insyncreplicas #kafkareplicas #하이워터마크
 </div></div>

나만의공간。

KIM JUNGHWAN

ISR (In-Sync-Replicas) - 리더 파티션과 팔로워 파티션의 offset 이 동일(sync) 하다. - 리더 파티션과 팔로워 파티션의 offset 이 동일하지 않으면 팔로워 파티션은 ISR 에 포함되지 않는다. ISR 에 포함되지 않은 브로커 파티션과 리더 파티션 장애 팔로워 파티션들이 리더 파티션의 데이터를 모두 복제하지 못한 상태에서 리더 파티션이 장애가 나면 어떻게 해야할까? 두가지 옵션이 있다. - unclean.leader.election.enable: true - unclean.leader.election.enable: false true 로 하는 경우, 팔로워 파티션에 데이터가 복제되지 않았더라도 (= 데이터 유실) 해당 파티션을 리더로 승급해서 서비스를 지속한다. false 로 하는 경우, 팔.......

[kafka] ISR 과 acks 옵션

댓글