<div id="readability-page-1" class="page"><div id="SE-24330697-ea05-44f3-8dfb-0bb73b88340f">
 상황설명상황은 다음과 같다:• Producer가 Topic A의 0번 파티션에 메시지 1번부터 5번까지 쭉 보냈다• Consumer가 이걸 받아서 처리하고 있는데, 1번과 2번은 잘 처리됐다• 그런데 3번 메시지에서 갑자기 에러가 터진다• 그럼 4번, 5번은 어떻게 될까? 그냥 막혀있게 되는 건가?상황 다이어그램
 </div><div id="SE-09f842cb-8052-40e0-85c9-f19b633fa86a">
 Kafka 의 특성 (순차적 처리 &amp; 순서 보장)이건 Kafka의 가장 핵심적인 특성 때문이다. 바로 파티션 내에서의 메시지 순서 보장이다.만약 3번이 실패했는데 그냥 건너뛰고 4, 5번을 처리한다고 생각해보자. 그럼 뭐가 문제될까?• 3번 메시지를 처리하지 않았는데 어디다가 저장해야 되는 건가?• 나중에 3번을 다시 시도하면 순서가 꼬이지 않나?• 데이터 일관성은?이런 문제들 때문에 Kafka는 "일단 3번을 처리할 때까지 기다려" 라는 정책을 쓴다. 이게 바로 블로킹 현상이다.실제로는 어떻게 처리되나?보통 Spring Kafka를 쓴다면 DefaultErrorHandler가 알아서 처리해준다:1. 3번 메시지 재시도 (기본 3회)2. 계속 실패하면 DLT(Dead Letter Topic)에 보내버린다3. 그 다음 offset을 commit하고 4, 5번 처리 시작DLT에 간 메시지는 따로 처리할 수 있게 별도의 topic에 저장되는 거라고 생각하면 된다.그럼 이 블로킹을 피할 순 없나?당연히 방법이 있다. 상황에 따라 다르게 쓰면 된다:1. Skip하기• 에러난 메시지는 버리고 다음으로 진행• 주의: 메시지 손실 발생 (중요한 데이터는 쓰면 안 됨)2. DLT로 즉시 보내기• 재시도 없이 바로 DLT topic으로 이동• 빠른 처리가 필요할 때 유용3. Non-blocking 처리• 에러가 나도 다음 메시지 처리 계속하기• 메시지 순서가 그다지 중요하지 않을 때만 사용결론Kafka는 단순한 메시지 큐가 아니라 순서를 보장하는 메시지 시스템이다. 그래서 한 메시지가 막히면 뒤에 있는 메시지들도 함께 대기한다. 이건 버그가 아니라 설계 특성이니까, 상황에 맞게 에러 처리 전략을 잘 세워서 쓰면 된다.
 </div></div>

나만의공간。

KIM JUNGHWAN

상황설명 상황은 다음과 같다: • Producer가 Topic A의 0번 파티션에 메시지 1번부터 5번까지 쭉 보냈다 • Consumer가 이걸 받아서 처리하고 있는데, 1번과 2번은 잘 처리됐다 • 그런데 3번 메시지에서 갑자기 에러가 터진다 • 그럼 4번, 5번은 어떻게 될까? 그냥 막혀있게 되는 건가? 상황 다이어그램 왜 이런 상황이 벌어질까? 처리 과정 살펴보기 실제로 어떻게 진행되는지 따라가보자: Kafka 의 특성 (순차적 처리 & 순서 보장) 이건 Kafka의 가장 핵심적인 특성 때문이다. 바로 파티션 내에서의 메시지 순서 보장이다. 만약 3번이 실패했는데 그냥 건너뛰고 4, 5번을 처리한다고 생각해보자. 그럼 뭐가 문제될까? • 3번 메시지를 처.......

[kafka] message 처리 실패시 blocking

댓글