<div id="readability-page-1" class="page"><div><p data-ke-size="size16">카프카 이벤트를 컨슈밍할 때, 오류가 발생하는 경우 이를 재시도하는 방안에 대해서 정리해보고자 한다.&nbsp;</p>
<p data-ke-size="size16">컨슈밍에 실패한 경우, 재시도 방법을 크게 Blocking과 Non-Blocking 으로 나눠볼 수 있다.&nbsp;</p>
<p data-ke-size="size16">여기서&nbsp;Blocking은 현재 실행중이 프로세스에서 처리를 재시도하는 것을 말한다. Non-Blocking은 큐 시스템을 활용하여, 비동기로 다시 재시도 처리하는 것을 말한다.&nbsp;</p>

<h2 data-ke-size="size26">(1) Blocking</h2>
<h4 data-ke-size="size20"><b>대안</b></h4>
<p data-ke-size="size16">a. <a href="https://www.baeldung.com/spring-retry" target="_blank" rel="noopener">spring-retry</a>를 사용하여, 원하는 횟수만큼 처리를 재시도하기&nbsp;</p>
<pre id="code_1674883285063" data-ke-language="java" data-ke-type="codeblock"><code>@Service
public interface PaymentService {

    @Retryable(value = TimeoutException.class, maxAttempts = 2, backoff = @Backoff(delay = 100))
    void complete(long orderId) throws SQLException;
}</code></pre>

<h3 data-ke-size="size23"><b>장점</b></h3>
<p data-ke-size="size16">단순하고, 예측하기 쉬운 코드이다.&nbsp;</p>
<h3 data-ke-size="size23"><b>단점</b></h3>
<ul data-ke-list-type="disc">
<li>지속적인 오류를 발생하는 특정한 케이스가 프로세스를 계속 점유할 수 있다.</li>
<li>일정한 텀을 두고 재시도를 하고 싶은 경우, 한 케이스가 프로세스를 더 오랜시간 점유할 수 있다.&nbsp;</li>
</ul>

<h2 data-ke-size="size26">(2) Non-Blocking</h2>
<h3 data-ke-size="size23"><b>대안</b></h3>
<h4 data-ke-size="size20">a. <a href="https://www.baeldung.com/spring-retry-kafka-consumer#1-retryabletopic" target="_blank" rel="noopener">kafka retry</a> topic 사용하기&nbsp;</h4>
<pre id="code_1674883459161" data-ke-language="java" data-ke-type="codeblock"><code>@Component
@KafkaListener(id = "order-group", topics = "payment-complete")
public class PaymentKafkaListener {

    @KafkaHandler
    @RetryableTopic(
      backoff = @Backoff(value = 3000L), 
      attempts = "5", 
      autoCreateTopics = "false",
      include = TimeoutException.class, exclude = NullPointerException.class)
    public void handlePayment(PaymentCompleteEvent event) {
        System.out.println("Event received: " + event);
    }
}</code></pre>
<h4 data-ke-size="size20"><b>장점</b></h4>
<ul data-ke-list-type="disc">
<li>카프카로 Non-blocking 처리가 가능하다.</li>
<li>비동기로 재시도 처리를 구현하기 수월하다.</li>
</ul>
<h4 data-ke-size="size20"><b>단점</b></h4>
<p data-ke-size="size16"><b>1. RetryTopic을 사용하면, 재시도 횟수만큼 Retry Topic이 생겨난다. 이러한 Topic들을 관리해야한다.</b></p>
<p data-ke-size="size16">ex. payment-complete-retry-0, payment-complete-retry-1, payment-complete-retry-2&nbsp;</p>
<p data-ke-size="size16"><b><b><b>2. Retry Topic에서 다시 에러가 발생하는 경우, 예외처리가 까다롭다.</b></b></b><b><b><b></b></b></b></p>
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-01-28 오후 2.39.51.png" data-origin-width="896" data-origin-height="604"><span data-url="https://blog.kakaocdn.net/dn/xuIK1/btrXom54ANr/MCgVP3w8wPeQtZgUGWt7K0/img.png" data-lightbox="lightbox" data-alt="뫼비우스의 토픽"><img src="https://blog.kakaocdn.net/dn/xuIK1/btrXom54ANr/MCgVP3w8wPeQtZgUGWt7K0/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" width="400" height="270" data-filename="스크린샷 2023-01-28 오후 2.39.51.png" data-origin-width="896" data-origin-height="604"></span><figcaption>뫼비우스의 토픽</figcaption>
</figure>

<p data-ke-size="size16">Retry Topic에서 다시 Retry Topic을 만들어서, 무한 Retry에 빠지는 헬을 경험할 수 있다.</p>

<h3 data-ke-size="size23">b. kafka dlt 토픽을 만들고, 재처리하는 consumer를 구현하기</h3>
<p data-ke-size="size16"><b>장점</b></p>
<ul data-ke-list-type="disc">
<li>카프카로 Non-blocking 처리가 가능하다.</li>
<li>dlt만 처리하면 되기 때문에 처리 구조가 단순하다.&nbsp;</li>
</ul>
<p data-ke-size="size16"><b>단점</b></p>
<ul data-ke-list-type="disc">
<li>dlt 처리용 consumer를 관리해야한다.&nbsp;</li>
<li>재시도를 1회만하기 때문에, 재시도 횟수를 제어하기 위한 다른 방안이 필요하다.&nbsp;</li>
</ul>

<h4 data-ke-size="size20">c. 컨슈밍에 실패하는 경우, 새로운 카프카 이벤트를 발행하기&nbsp;</h4>
<p data-ke-size="size16"><b>장점</b></p>
<ul data-ke-list-type="disc">
<li>카프카로 Non-blocking 처리가 가능하다.</li>
<li>단순하다.</li>
</ul>
<p data-ke-size="size16"><b>단점</b></p>
<ul data-ke-list-type="disc">
<li>최대 재시도 횟수를 DB에 저장해두어야한다.&nbsp;</li>
</ul>

<hr contenteditable="false" data-ke-type="horizontalRule" data-ke-style="style3">
<h2 data-ke-size="size26">나의 결정!&nbsp;</h2>
<figure data-ke-mobilestyle="widthOrigin" data-filename="두구두구.png" data-origin-width="320" data-origin-height="180"><span data-url="https://blog.kakaocdn.net/dn/sPevN/btrXmJg8o8p/xPR7GCUoFDBc4a9QUSV45k/img.gif" data-lightbox="lightbox" data-alt="두구두구두구두"><img src="https://blog.kakaocdn.net/dn/sPevN/btrXmJg8o8p/xPR7GCUoFDBc4a9QUSV45k/img.gif" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="두구두구.png" data-origin-width="320" data-origin-height="180"></span><figcaption>두구두구두구두</figcaption>
</figure>

<p data-ke-size="size16">나는 이중 마지막 안을 결정했다.</p>
<p data-ke-size="size16">처음에는 있어빌리티 주도 개발을 위해 Retry Topic과 dlt Topic을 사용하는 것을 고려해봤다.</p>
<p data-ke-size="size16">그런데 잘 모르는 상태에서 구현을 하려다보니, 코드가 예상대로 동작하지 않았고, 쉽게 원하는 바를 이루기 어려웠다.</p>
<p data-ke-size="size16">그래서 Non-Blocking으로 구현하면서, 최대한 단순하게 짤 수 있는 방법을 선택했다.&nbsp;</p>

<p data-ke-size="size16">Simple is Best!!&nbsp;&nbsp;</p>
</div></div>

복세편살

카프카 이벤트를 컨슈밍할 때, 오류가 발생하는 경우 이를 재시도하는 방안에 대해서 정리해보고자 한다. 
컨슈밍에 실패한 경우, 재시도 방법을 크게 Blocking과 Non-Blocking 으로 나눠볼 수 있다. 
여기서 Blocking은 현재 실행중이 프로세스에서 처리를 재시도하는 것을 말한다. Non-Blocking은 큐 시스템을 활용하여, 비동기로 다시 재시도 처리하는 것을 말한다. 
 
(1) Blocking
대안
a. spring-retry를 사용하여, 원하는 횟수만큼 처리를 재시도하기 
@Service
public interface PaymentService {
    @Retryable(value = TimeoutException.class, maxAttempts = 2, backoff = @Backoff(delay = 100))
    void complete(long orderId) throws SQLException;
}
 
장점
단순하고, 예측하기 쉬운 코드이다. 
단점
지속적인 오류를 발생하는 특정한 케이스가 프로세스를 계속 점유할 수 있다.
일정한 텀을 두고 재시도를 하고 싶은 경우, 한 케이스가 프로세스를 더 오랜시간 점유할 수 있다. 
 
(2) Non-Blocking
대안
a. kafka retry topic 사용하기 
@Component
@KafkaListener(id = "order-group", topics = "payment-complete")
public class PaymentKafkaListener {
    @KafkaHandler
    @RetryableTopic(
      backoff = @Backoff(value = 3000L), 
      attempts = "5", 
      autoCreateTopics = "false",
      include = TimeoutException.class, exclude = NullPointerException.class)
    public void handlePayment(PaymentCompleteEvent event) {
        System.out.println("Event received: " + event);
    }
}
장점
카프카로 Non-blocking 처리가 가능하다.
비동기로 재시도 처리를 구현하기 수월하다.
단점
1. RetryTopic을 사용하면, 재시도 횟수만큼 Retry Topic이 생겨난다. 이러한 Topic들을 관리해야한다.
ex. payment-complete-retry-0, payment-complete-retry-1, payment-complete-retry-2 
2. Retry Topic에서 다시 에러가 발생하는 경우, 예외처리가 까다롭다.
Retry Topic에서 다시 Retry Topic을 만들어서, 무한 Retry에 빠지는 헬을 경험할 수 있다.
 
b. kafka dlt 토픽을 만들고, 재처리하는 consumer를 구현하기
장점
카프카로 Non-blocking 처리가 가능하다.
dlt만 처리하면 되기 때문에 처리 구조가 단순하다. 
단점
dlt 처리용 consumer를 관리해야한다. 
재시도를 1회만하기 때문에, 재시도 횟수를 제어하기 위한 다른 방안이 필요하다. 
 
c. 컨슈밍에 실패하는 경우, 새로운 카프카 이벤트를 발행하기 
장점
카프카로 Non-blocking 처리가 가능하다.
단순하다.
단점
최대 재시도 횟수를 DB에 저장해두어야한다. 
 
나의 결정! 
나는 이중 마지막 안을 결정했다.
처음에는 있어빌리티 주도 개발을 위해 Retry Topic과 dlt Topic을 사용하는 것을 고려해봤다.
그런데 잘 모르는 상태에서 구현을 하려다보니, 코드가 예상대로 동작하지 않았고, 쉽게 원하는 바를 이루기 어려웠다.
그래서 Non-Blocking으로 구현하면서, 최대한 단순하게 짤 수 있는 방법을 선택했다. 
 
Simple is Best!!

Kafka 컨슈밍와 재시도

댓글