<div id="readability-page-1" class="page"><div>
 
 <div id="SE-329ae926-e9b9-4074-9de6-cdb6e71d66f8">
 @RetryableTopic 을 사용하여 retry 를 했음에도 처리가 실패한 메시지는 'xxx.dlt' 토픽으로 전송된다. dlt 토픽에 쌓인 메시지를 처리하는 방법에 대해 알아보자.​아래 코드는 receiveMessage 에서 consume 을 진행하고 실패시 retry 를 진행하게 된다. 당연하게도 retry 까지 실패하면 order.create.dlt 토픽으로 메시지가 전송되게 되는데, 이때 @DltHandler 가 선언된 메서드가 이 메시지를 받아서 처리하게 된다.​@DltHandler 가 붙는 메서드는 @RetryableTopic 어노테이션이 있는 클래스에 함께 위치시켜준다. 그러면, Spring이 자동으로 이 둘을 연결해 주기 때문에 별도의 설정이 필요 없다.
 </div> <div id="SE-4e755ac8-7251-4eb2-a2c7-bdbd6757ea43">
 @KafkaListener(
 topics = ["order.create"],
 groupId = "#{ T(java.util.UUID).randomUUID().toString() }",
)
@RetryableTopic(
 attempts = "3",
 backoff = Backoff(delay = 1000, multiplier = 2.0),
 dltTopicSuffix = ".dlt",
 retryTopicSuffix = ".retry",
)
fun receiveMessage(order: String) {
 log.info { "Received message $order" }

 val orderDto = objectMapper.readValue(order, OrderDto::class.java)
 val name = orderDto.name
 if (name == "fail") {
 throw RuntimeException("something is wrong...")
 }
 Thread.sleep(2000L)
 log.info { "Done processing order.." }
}

@DltHandler
fun dltHandler(order: String, @Header(KafkaHeaders.RECEIVED_TOPIC) topic: String) {
 log.info { "[DLT handler] order : $order from topic : $topic" }
}
 </div> <div id="SE-6b10b008-5cee-4b03-a217-33e2009a5156">
 ​dltHandler 에서는 복잡한 로직을 넣어서 재처리 하기보다는 아래와 같은 작업에 집중하는 것을 추천한다고 한다.<ul><li>로깅 : 실패한 메시지의 모든 정보 (payload, header, exception stacktrace, etc) 를 상세히 로깅한다.</li><li>경고 (알람) : 관리자에게 알람을 전송한다.</li><li>영구 저장 : 메시지를 데이터베이스에 저장하여 추후 분석 및 수동 재처리 할 수 있도록 한다.</li></ul>​추가로, dlt 처리 전략이라는 것이 존재한다. @RetryableTopic 에서 전략을 설정할 수 있다. 기본값은 FAIL_ON_ERROR 이며, 아래와 같은 옵션들이 존재한다.​<ul><li>DltStrategy.FAIL_ON_ERROR (기본값)<ul><li>동작 방식: @DltHandler에서 예외가 발생하면, 해당 메시지는 스킵되고 다음 메시지를 처리한다. 이는 컨슈머의 오프셋이 진행되므로, 실패한 메시지는 다시 처리되지 않는다.</li><li>결과: 실패한 메시지는 Kafka 토픽에 그대로 남지만, 컨슈머는 오프셋을 옮겨 버리기 때문에 사실상 버려진다.</li></ul></li><li>DltStrategy.ALWAYS_RETRY_ON_ERROR<ul><li>동작 방식: @DltHandler에서 실패하면, 메시지는 다시 DLT로 돌아가서 재시도 된다. 이 과정은 성공할 때까지 반복된다.</li><li>결과: DLT 컨슈머가 실패 메시지 하나 때문에 무한 루프에 빠질 수 있다. 따라서 이 전략은 사용에 주의해야 한다.</li></ul></li><li>DltStrategy.NO_DLT<ul><li>동작 방식: DLT 기능 자체가 비활성화 된다. 재시도가 모두 실패하면 메시지 처리가 중단된다.</li><li>결과: 메시지는 DLT로 가지 않고, main-topic의 마지막 재시도 토픽에 그대로 남게 된다. </li></ul></li></ul>​​#kafka #dlthandler #dlt #kafkadlt처리 #kafka실패메시지처리 
 </div> </div></div>

나만의공간。

KIM JUNGHWAN

@RetryableTopic 을 사용하여 retry 를 했음에도 처리가 실패한 메시지는 'xxx.dlt' 토픽으로 전송된다. dlt 토픽에 쌓인 메시지를 처리하는 방법에 대해 알아보자. 아래 코드는 receiveMessage 에서 consume 을 진행하고 실패시 retry 를 진행하게 된다. 당연하게도 retry 까지 실패하면 order.create.dlt 토픽으로 메시지가 전송되게 되는데, 이때 @DltHandler 가 선언된 메서드가 이 메시지를 받아서 처리하게 된다. @DltHandler 가 붙는 메서드는 @RetryableTopic 어노테이션이 있는 클래스에 함께 위치시켜준다. 그러면, Spring이 자동으로 이 둘을 연결해 주기 때문에 별도의 설정이 필요 없다. dltHandler 에서는 복잡한 로직을.......

[kafka] DLT (Dead Letter Topic) 처리 - @DltHandler

댓글