<div id="readability-page-1" class="page">
                
                
                


<div id="wrap">
	
	
	<hr>
	<section>
		<article id="content">

			

			

			

			

			<div>
				

				            
                
	
	
		<div>
			<p>소프트웨어-이야기/데이터 저장소 + 시각화 </p>
			<h2>&lt;고승범&gt; 실전 카프카 개발부터 운영까지 </h2>
			<p>
				<span>2023. 10. 3. 10:13</span>
				
			</p>
		</div>
		<div>
<figure data-ke-mobilestyle="widthOrigin" data-ke-style="alignCenter" data-ke-type="image"><br>
<figcaption></figcaption>
</figure>
<p data-ke-size="size16">고승범님의 카프카 저서를 통해 학습한 내용을 정리하고자 한다.&nbsp;</p>

<h4 data-ke-size="size20">카프카의 기본 구성</h4>
<figure data-ke-mobilestyle="widthOrigin" data-filename="kafka.png" data-origin-width="1202" data-origin-height="374"><span data-url="https://blog.kakaocdn.net/dn/bUBfhk/btsv9Q0HoKi/uBHjd1eY5dnonALFUNtRY0/img.png" data-lightbox="lightbox"><img src="https://blog.kakaocdn.net/dn/bUBfhk/btsv9Q0HoKi/uBHjd1eY5dnonALFUNtRY0/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" width="549" height="171" data-filename="kafka.png" data-origin-width="1202" data-origin-height="374"></span></figure>

<ul data-ke-list-type="disc">
<li>kafka: 데이터를 받아서 전달하는 데이터 버스 역할</li>
<li>producer: 카프카에 데이터를 만들어서 주는 역할을 하는 클라이언트</li>
<li>consumer: 메시지를 빼내서 소비하는 역할을 하는 클라이언트</li>
<li>zookeeper
<ul data-ke-list-type="disc">
<li>카프카의 동작을 관리하기 위한 메타데이터를 관리하는 역할</li>
<li>브로커 정상 상태 점검 (health check) 담당</li>
</ul>
</li>
</ul>
<h4 data-ke-size="size20">그외 카프카 주요 요소</h4>
<ul data-ke-list-type="disc">
<li>kafka: 브로커를 구성한 클러스터</li>
<li>broker: 카프카 애플리케이션이 설치된 서버 혹은 노드&nbsp;</li>
<li>topic:
<ul data-ke-list-type="disc">
<li>카프카는 메시지 피드들을 토픽으로 구분하고, 각 토픽의 이름은 카프카 내에서 고유함</li>
<li>RDB의 테이블 같은 역할</li>
</ul>
</li>
<li>partition
<ul data-ke-list-type="disc">
<li>병렬 처리 및 고성능을 위해 하나의 토픽을 여러개로 나눈 것을 말함</li>
<li>RDB의 파티션 같은 역할</li>
</ul>
</li>
<li>segement
<ul data-ke-list-type="disc">
<li>프로듀서가 전송한 실제 메시지가 로컬 디스크에 저장되는 파일</li>
</ul>
</li>
<li>message / record
<ul data-ke-list-type="disc">
<li>프로듀서가 브로커로 전송하거나 컨슈머가 읽어가는 데이터 조각&nbsp;</li>
</ul>
</li>
</ul>

<h4 data-ke-size="size20">리플리케이션</h4>
<p data-ke-size="size16">리플리케이션이란 각 메시지들을 여러개로 복제해서, 카프카 클러스터 내 브로커들에 분산시키는 동작을 말한다. 리플리케이션 단위는 파티션이다.&nbsp;</p>
<figure data-ke-mobilestyle="widthOrigin" data-filename="replication.png" data-origin-width="1548" data-origin-height="776"><span data-url="https://blog.kakaocdn.net/dn/btDPQZ/btswbfMzzgV/sQq1dEVDWGPUKkztiztkV1/img.png" data-lightbox="lightbox"><img src="https://blog.kakaocdn.net/dn/btDPQZ/btswbfMzzgV/sQq1dEVDWGPUKkztiztkV1/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" width="700" height="351" data-filename="replication.png" data-origin-width="1548" data-origin-height="776"></span></figure>

<p data-ke-size="size16">위의 그림은 다음 사례를 도식화한 것이다.</p>
<ul data-ke-list-type="disc">
<li>kafka cluster: 1개&nbsp;</li>
<li>broker: 3대로 구성</li>
<li>topic: 1개&nbsp;</li>
<li>partition: 1개</li>
<li>replication factor: 3개&nbsp;&nbsp;
<ul data-ke-list-type="disc">
<li>create-order topic의 partition이 1개이니, 총 3개의 partition이 3대의 broker에 분산 복제된다.</li>
<li>복제수는 원본 파티션도 포함한 개수이다.&nbsp;</li>
</ul>
</li>
<li>reader partition: 1개&nbsp;<br>
<ul data-ke-list-type="disc">
<li>producer/consumer의 읽기/쓰기는 reader partition을 통해서만 발생한다.</li>
</ul>
</li>
<li>follwer partition: 2개&nbsp;</li>
</ul>

<p data-ke-size="size16">책에서 권장하는 리플리케이션 팩터수는 다음과 같다.</p>
<ul data-ke-list-type="disc">
<li>테스트 or 개발환경: 1개&nbsp;</li>
<li>운영환경
<ul data-ke-list-type="disc">
<li>로그성 메시지로 약간의 유실을 허용하는 경우: 2개</li>
<li>유실을 허용하지 않는 경우: 3개&nbsp;
<ul data-ke-list-type="disc">
<li>그 이상을 설정할 수도 있지만, 저자의 경험상 3을 권장한다고 한다.&nbsp;</li>
<li><span>이 정도면 충분한 메시지 안정성을 보장하고, 디스크도 적절하게 사용한다고 한다.&nbsp;</span><span></span></li>
</ul>
</li>
</ul>
</li>
</ul>

<p data-ke-size="size16">&lt;&lt;이어서...&gt;&gt;</p></div>
		

		
			<div>
				<h2><strong>'소프트웨어-이야기/데이터 저장소 + 시각화 '</strong> Related Articles</h2>
				
			</div>
		

		



	

                
            
			</div>

			

			

			

		</article>
		 
	</section>
	 
	<hr>
	
</div>






                        
        

        






                
                







                
                


                

</div>

복세편살

고승범님의 카프카 저서를 통해 학습한 내용을 정리하고자 한다. 
 
카프카의 기본 구성
kafka: 데이터를 받아서 전달하는 데이터 버스 역할
producer: 카프카에 데이터를 만들어서 주는 역할을 하는 클라이언트
consumer: 메시지를 빼내서 소비하는 역할을 하는 클라이언트
zookeeper
카프카의 동작을 관리하기 위한 메타데이터를 관리하는 역할
브로커 정상 상태 점검 (health check) 담당
그외 카프카 주요 요소
kafka: 브로커를 구성한 클러스터
broker: 카프카 애플리케이션이 설치된 서버 혹은 노드 
topic:
카프카는 메시지 피드들을 토픽으로 구분하고, 각 토픽의 이름은 카프카 내에서 고유함
RDB의 테이블 같은 역할
partition
병렬 처리 및 고성능을 위해 하나의 토픽을 여러개로 나눈 것을 말함
RDB의 파티션 같은 역할
segement
프로듀서가 전송한 실제 메시지가 로컬 디스크에 저장되는 파일
message / record
프로듀서가 브로커로 전송하거나 컨슈머가 읽어가는 데이터 조각 
 
리플리케이션
리플리케이션이란 각 메시지들을 여러개로 복제해서, 카프카 클러스터 내 브로커들에 분산시키는 동작을 말한다. 리플리케이션 단위는 파티션이다. 
위의 그림은 다음 사례를 도식화한 것이다.
kafka cluster: 1개 
broker: 3대로 구성
topic: 1개 
partition: 1개
replication factor: 3개  
create-order topic의 partition이 1개이니, 총 3개의 partition이 3대의 broker에 분산 복제된다.
복제수는 원본 파티션도 포함한 개수이다. 
reader partition: 1개 
producer/consumer의 읽기/쓰기는 reader partition을 통해서만 발생한다.
follwer partition: 2개 
 
책에서 권장하는 리플리케이션 팩터수는 다음과 같다.
테스트 or 개발환경: 1개 
운영환경
로그성 메시지로 약간의 유실을 허용하는 경우: 2개
유실을 허용하지 않는 경우: 3개 
그 이상을 설정할 수도 있지만, 저자의 경험상 3을 권장한다고 한다. 
이 정도면 충분한 메시지 안정성을 보장하고, 디스크도 적절하게 사용한다고 한다. 
 
<<이어서...>>

<고승범> 실전 카프카 개발부터 운영까지

댓글