<div id="readability-page-1" class="page"><div><p data-ke-size="size16">애플리케이션에서 이벤트를 발행하는 방법은 크게 Application layer event와 Persistence layer event으로 나뉜다.</p>
<h4 data-ke-size="size20"><b>Application layer event</b></h4>
<p data-ke-size="size16">애플리케이션 안에서 명시적으로 이벤트를 발행하는 방법이다. <br>장점은 원하는 시점에 이벤트를 발행할 수 있다는 것이다. DB에 데이터가 적재되지 않는 상황에서도 이벤트를 발행할 수 있다. <br>단, 도메인과 DB가 명시적으로 분리되어있는 경우에만 사용가능하다. 만약 도메인과 DB를 다른 애플리케이션에서 사용하고 있는 경우, 이벤트를 감지하지 못하는 상황이 발생할 수 있다.<br> </p>
<h4 data-ke-size="size20"><b>Persistence layer event</b></h4>
<p data-ke-size="size16">데이터 저장소를 활용하여 이벤트를 발행하는 방법이다. CDC가 대표적인 예이다.<br>이 방법은 도메인/DB가 분리되어있지 않거나, 애플리케이션에서 데이터를 변경하는 시점을 모두 파악하기 어려운 경우에 유용하다. DB에 저장된 데이터를 보고 이벤트를 발행하기 때문에 레거시 모놀리틱 애플리케이션에서도 손쉽게 이벤트를 발행할 수 있다.<br> </p>
<hr data-ke-type="horizontalRule" data-ke-style="style3">
<p> 이벤트 없이 MSA 환경에서 레거시 모놀리틱 애플리케이션과 연동하는 대안으로 다음과 같은 방법이 있다.</p>
<ul data-ke-list-type="disc">
 <li>점대점으로 API를 호출하기</li>
 <li>중간에 데이터 저장소를 두고 DB 덤프를 일정 주기마다 동기화하는 식으로 시스템 간에 벌크 데이터를 퍼나르는 이벤트와 비슷한 장치 만들기 </li>
</ul>
<p data-ke-size="size16">그러나 위의 방법은 몇가지 단점이 있다.<br>전자는 하부 서비스에 있는 데이터를 직접 질의하는 경우 점대점 의존성이 높아진다.<br>후자는 데이터를 실시간으로 연동하지 못하고, 시스템을 확장할 때마다 신규 데이터 저장소 연동 워크 플로우를 구축해야한다는 단점이 있다. </p>
<hr data-ke-type="horizontalRule" data-ke-style="style3">
<p data-ke-size="size16"> <br>기존 데이터 저장소를 활용하여 중앙화된 이벤트를 발행하는 방법을 data liberation (데이터 해방)이라고 부른다. 이 방식은 새로운 SSOT (single source of truth)으로 이벤트 데이터를 사용한다. 그리고 해당 이벤트를 필요로하는 각 시스템은 필요할 때마다 자유롭게 해당 이벤트를 가져갈 수 있다. <br>이 방법을 사용하면 적은 공수로 레거시 모놀리틱 애플리케이션을 이벤트 기반 아키텍처로 전환할 수 있다. 리팩토링 비용, 레거시 변경 리스크, 레거시 시스템 개발자 리소스 등을 줄일 수 있다. </p>
<hr data-ke-type="horizontalRule" data-ke-style="style3">
<p data-ke-size="size16">Persistence layer에서 이벤트를 발행하는 방법은 크게 두가지로 나뉜다. 하부 데이터 저장소에서 데이터 추출하는 방법과 kafka connect 같은 CDC 도구를 사용한 중앙화된 데이터 해방 프레임워크를 사용하는 방법이다.<br> </p>
<h4 data-ke-size="size20"><b>1. 하부 데이터 저장소에서 데이터 추출하기 </b></h4>
<p data-ke-size="size16">이 방법은 크게 쿼리 기반 (query-base), 로그 기반 (log-based), 아웃박스 테이블 기반 (table-based)으로 나뉜다. </p>
<h4 data-ke-size="size20"><b>(1-a) 쿼리 기반</b></h4>
<p data-ke-size="size16">데이터 저장소에 쿼리한 결과를 이벤트로 발행하는 방법을 말한다.<br>최초 1회에는 전체 데이터를 조회하여 이벤트를 발행하는 작업을 해야한다. 그리고 이후에는 변경분에 해당하는 데이터만 이벤트를 발행한다. 이벤트를 발행할 대상을 선택하는 방법은 크게 세가지이다.</p>
<ul data-ke-list-type="disc"> 
 <li>최종 수정 시각 (updatedAt)을 기준으로 데이터 폴링하기 
  <ul data-ke-list-type="disc"> 
   <li>이 방법을 사용하려면 데이터 변경 시 항상 레코드 최종 수정 시각이 갱신되어야한다. 만약 최종 수정 시각이 갱신되지 않으면 이벤트가 유실된다.</li> 
  </ul> </li> 
 <li>increment pk (자동증분 id)를 기준으로 데이터 폴링하기</li> 
 <li>커스텀 쿼리를 만들어서 데이터 폴링하기&nbsp;</li> 
</ul>
<p data-ke-size="size16">이 방식을 사용하려면 폴링 빈도와 업데이트 지연 시간을 결정해야한다. </p>
<h4 data-ke-size="size20"><b>(1-b)</b><b> </b><b>로그 기반</b></h4>
<p data-ke-size="size16">하부 데이터 구조의 변경 내역을 기록한 붙임 전용 로그를 기준으로 추출한다. 데이터 변경 로그를 기록하는 저장소에서만 사용 가능하다.</p>
<h4 data-ke-size="size20"><b>(1-c)</b><b> </b><b>outbox table 기반</b></h4>
<p data-ke-size="size16">출력 큐로 사용할 테이블에 데이터를 저장한다. 그리고 다른 스레드나 별도의 프로세스가 테이블을 쿼리해 데이터를 정해진 이벤트 스트림으로 내보낸 뒤, 관련 로우를 삭제한다. <br> </p>
<h4 data-ke-size="size20"><b>2. 중앙화된 데이터 해방 프레임워크 사용하기 </b></h4>
<div data-ke-size="size16"><p>이는 카프카 커넥트, 아파치 고블린, 아파치 나이파이 같은 중앙화 프레임워크를 사용하는 방법이다. 이런 프레임워크를 사용하면 DML 요청을 이벤트로 변환할 수 있다. 그리고 필요시 인스턴스를 더 추가해서 CDC 작업 용량을 늘릴 수도 있다.</p><p>To be continued…</p></div>

<h2 data-ke-size="size26"><b>참고</b></h2>
<p data-ke-size="size16"><a href="https://hyperconnect.github.io/2021/01/11/cdc-platform.html" target="_blank"><span>https://hyperconnect.github.io/2021/01/11/cdc-platform.html</span></a><br>이벤트 기반 마이크로 서비스 구축 4장. 기존 시스템에 이벤트 기반 아키텍처 통합</p></div></div>

복세편살

애플리케이션에서 이벤트를 발행하는 방법은 크게 Application layer event와 Persistence layer event으로 나뉜다.
Application layer event
애플리케이션 안에서 명시적으로 이벤트를 발행하는 방법이다. 
장점은 원하는 시점에 이벤트를 발행할 수 있다는 것이다. DB에 데이터가 적재되지 않는 상황에서도 이벤트를 발행할 수 있다. 
단, 도메인과 DB가 명시적으로 분리되어있는 경우에만 사용가능하다. 만약 도메인과 DB를 다른 애플리케이션에서 사용하고 있는 경우, 이벤트를 감지하지 못하는 상황이 발생할 수 있다.
 
Persistence layer event
데이터 저장소를 활용하여 이벤트를 발행하는 방법이다. CDC가 대표적인 예이다.
이 방법은 도메인/DB가 분리되어있지 않거나, 애플리케이션에서 데이터를 변경하는 시점을 모두 파악하기 어려운 경우에 유용하다. DB에 저장된 데이터를 보고 이벤트를 발행하기 때문에 레거시 모놀리틱 애플리케이션에서도 손쉽게 이벤트를 발행할 수 있다.
 
 
 이벤트 없이 MSA 환경에서 레거시 모놀리틱 애플리케이션과 연동하는 대안으로 다음과 같은 방법이 있다.
점대점으로 API를 호출하기
중간에 데이터 저장소를 두고 DB 덤프를 일정 주기마다 동기화하는 식으로 시스템 간에 벌크 데이터를 퍼나르는 이벤트와 비슷한 장치 만들기 
그러나 위의 방법은 몇가지 단점이 있다.
전자는 하부 서비스에 있는 데이터를 직접 질의하는 경우 점대점 의존성이 높아진다.
후자는 데이터를 실시간으로 연동하지 못하고, 시스템을 확장할 때마다 신규 데이터 저장소 연동 워크 플로우를 구축해야한다는 단점이 있다. 
 기존 데이터 저장소를 활용하여 중앙화된 이벤트를 발행하는 방법을 data liberation (데이터 해방)이라고 부른다. 이 방식은 새로운 SSOT (single source of truth)으로 이벤트 데이터를 사용한다. 그리고 해당 이벤트를 필요로하는 각 시스템은 필요할 때마다 자유롭게 해당 이벤트를 가져갈 수 있다. 
이 방법을 사용하면 적은 공수로 레거시 모놀리틱 애플리케이션을 이벤트 기반 아키텍처로 전환할 수 있다. 리팩토링 비용, 레거시 변경 리스크, 레거시 시스템 개발자 리소스 등을 줄일 수 있다. 
Persistence layer에서 이벤트를 발행하는 방법은 크게 두가지로 나뉜다. 하부 데이터 저장소에서 데이터 추출하는 방법과 kafka connect 같은 CDC 도구를 사용한 중앙화된 데이터 해방 프레임워크를 사용하는 방법이다.
 
1. 하부 데이터 저장소에서 데이터 추출하기 
이 방법은 크게 쿼리 기반 (query-base), 로그 기반 (log-based), 아웃박스 테이블 기반 (table-based)으로 나뉜다. 
(1-a) 쿼리 기반
데이터 저장소에 쿼리한 결과를 이벤트로 발행하는 방법을 말한다.
최초 1회에는 전체 데이터를 조회하여 이벤트를 발행하는 작업을 해야한다. 그리고 이후에는 변경분에 해당하는 데이터만 이벤트를 발행한다. 이벤트를 발행할 대상을 선택하는 방법은 크게 세가지이다.
 
 
최종 수정 시각 (updatedAt)을 기준으로 데이터 폴링하기 
  
 
   
이 방법을 사용하려면 데이터 변경 시 항상 레코드 최종 수정 시각이 갱신되어야한다. 만약 최종 수정 시각이 갱신되지 않으면 이벤트가 유실된다.
 
  
  
 
increment pk (자동증분 id)를 기준으로 데이터 폴링하기
 
 
커스텀 쿼리를 만들어서 데이터 폴링하기 
 
이 방식을 사용하려면 폴링 빈도와 업데이트 지연 시간을 결정해야한다. 
(1-b) 로그 기반
하부 데이터 구조의 변경 내역을 기록한 붙임 전용 로그를 기준으로 추출한다. 데이터 변경 로그를 기록하는 저장소에서만 사용 가능하다.
(1-c) outbox table 기반
출력 큐로 사용할 테이블에 데이터를 저장한다. 그리고 다른 스레드나 별도의 프로세스가 테이블을 쿼리해 데이터를 정해진 이벤트 스트림으로 내보낸 뒤, 관련 로우를 삭제한다. 
 
2. 중앙화된 데이터 해방 프레임워크 사용하기 
이는 카프카 커넥트, 아파치 고블린, 아파치 나이파이 같은 중앙화 프레임워크를 사용하는 방법이다. 이런 프레임워크를 사용하면 DML 요청을 이벤트로 변환할 수 있다. 그리고 필요시 인스턴스를 더 추가해서 CDC 작업 용량을 늘릴 수도 있다.
To be continued…
 
 
참고
https://hyperconnect.github.io/2021/01/11/cdc-platform.html
이벤트 기반 마이크로 서비스 구축 4장. 기존 시스템에 이벤트 기반 아키텍처 통합
'소프트웨어-이야기 > 아키텍처' 카테고리의 다른 글
[EDA] 이벤트 발행하기 (작성중)  (0)
2022.07.24
Transactional outbox  (0)
2022.07.09
broadleafcommerce으로 재고 시스템 맛보기  (0)
2022.06.17
레이어드 아키텍처  (0)
2022.04.10
분산 시스템을 위한 유일 ID 생성기 설계  (0)
2022.03.19
Cursor Pagination - 대용량 데이터에 페이지네이션 적용하기  (0)
2020.07.25

[EDA] 이벤트 발행하기 (작성중)

댓글