<div id="readability-page-1" class="page"><div><p>근 1년 정도는 FullStack 영역에서 일 하다가, 팀의 규모가 20여명 정도로 커지는 바람에 FE/BE를 나누게 되면서 저는 BE영역에서 일 하고 있습니다. </p>
<p>그러다 보니 데이터 관련한 아키텍처들에 관심이 많아졌고, 어떻게 하면 이해가 쉬운 구조이면서 이슈 없는 데이터 플로우 구조를 만들 수 있을까 고민 하고 있습니다. 그러던 와중에 생소한 용어를 듣게 되어 간단하게 공유하고자 합니다. </p>
<p>Ref. </p>
<ul>
<li><a href="https://www.credera.com/insights/modern-data-architecture-an-overview-of-lambda-and-kappa-architectures">https://www.credera.com/insights/modern-data-architecture-an-overview-of-lambda-and-kappa-architectures</a></li>
<li><a href="https://www.qlik.com/blog/lambda-or-kappa-the-need-for-a-new-data-processing-architecture">https://www.qlik.com/blog/lambda-or-kappa-the-need-for-a-new-data-processing-architecture</a></li>
</ul>
<p>그러던 중에 위와 같은 용어와 글들을 접하게 되었습니다. </p>
<h2>lambda architecture</h2>
<p><img src="https://www.qlik.com/blog/assets/uploads/images/posts/anand-rao/anand-rao-blog-2.png" alt="람다 아키텍처"></p>
<p>Lambda architecture의 경우 batch processing, realtime stream processing이 결합된 구조입니다. </p>
<h3>장점</h3>
<ul>
<li>속도, 안정성이 우수하다. <ul>
<li>장애시, batch layer로 데이터 재구성 가능 </li>
</ul>
</li>
<li>확장이 용이하다.<h3>단점</h3>
</li>
<li>중복 모듈이 많아진다. </li>
<li>같은 코드가 batch layer, stream layer에 중복 된다. </li>
<li>batch, stream에서 재처리를 할 수도 있다. </li>
</ul>
<h3>kappa architecture</h3>
<p>Ref. <a href="https://hazelcast.com/glossary/kappa-architecture/">https://hazelcast.com/glossary/kappa-architecture/</a></p>
<p><img src="https://www.qlik.com/blog/assets/uploads/images/posts/anand-rao/anand-rao-blog-4.png" alt="카파 아키텍처"></p>
<p>Kappa architecture의 경우 realtime stream processing만 이용하는 구조입니다. </p>
<h3>장점</h3>
<ul>
<li>리소스 절감 (batch layer가 없음)</li>
<li>데이터 생성 / 처리하는 부분이 단일화 되어 시스템 이해가 쉬울 수 있다. </li>
</ul>
<h3>단점</h3>
<ul>
<li>중복 이벤트 처리나, 이벤트 상호 참조 혹은 순서 관련 처리에 대한 설계가 필요로 함.</li>
<li>예를 들어 장애 발생시, 데이터 재생 관련한 부분 처리의 어려움</li>
</ul>
<p>결과적으로 무조건 어떤게 더 나은지?를 비교하긴 어려워 보입니다.<br>저도 경험해본 바는 lambda architecture를 경험해본 사람이라서, kappa의 경우는 좀 경험치가 없다보니, 좋은 것 같다가도 데이터 스트리밍의 재생 부분이 관건이지 않을까 싶습니다. </p>
<p>특히나, CRUD의 요청 스트리밍에 대한 순서 보장이나, 데이터 핸들링 오류시의 다음 스트리밍에 대한 처리가 중요해보이는데, 아직 시도해본적이 없는 구조라 조금 더 공부 해야 할 것 같습니다. </p>
            
</div></div>

Seungdols Company

seungdols

근 1년 정도는 FullStack 영역에서 일 하다가, 팀의 규모가 20여명 정도로 커지는 바람에 FE/BE를 나누게 되면서 저는 BE영역에서 일 하고 있습니다. 그러다 보니 데이터 관련한 아키텍처들에 관심이 많아졌고, 어떻게 하면 이해가 쉬운 구조이면서 이슈 없는 데이터 플로우 구조를 만들 수 있을까 고민 하고 있습니다. 그러던 와중에 생소한 용어를 듣게 되어 간단하게 공유하고자 합니다. Ref. https://www.credera.com/insi..

lambda 아키텍처 vs kappa 아키텍처

댓글