<div id="readability-page-1" class="page"><div itemprop="articleBody">Apache Kafka에 대한 학습을 위해 도커 컴포즈로 카프카에 대한 환경을 구성할 때 대부분 <a target="_blank" rel="noopener" href="https://github.com/wurstmeister/kafka-docker">wurstmeister/kafka-docker</a> 또는 <a target="_blank" rel="noopener" href="https://hub.docker.com/r/confluentinc/cp-kafka/">confluentinc/cp-kafka</a> 사용하여 ZooKeeper 기반의 카프카를 실행하는 방법에 대해 설명하는 것을 볼 수 있다. 본 글에서는 컨플루언트에서 제공하는 <a target="_blank" rel="noopener" href="https://hub.docker.com/r/confluentinc/confluent-local">confluentinc/confluent-local</a>를 사용해 KRaft 모드의 Apache Kafka에 대한 학습 환경을 만드는 것을 공유하고자 한다.<h4 id="도커-컴포즈-문서-작성"><a href="#도커-컴포즈-문서-작성" title="도커 컴포즈 문서 작성"></a>도커 컴포즈 문서 작성</h4><pre data-language="yaml">compose.yaml<code>version: '3'
services:
 kafka:
 image: confluentinc/confluent-local:7.5.6
 hostname: kafka
 container_name: kafka
 ports:
 - "9092:9092"
 - "8082:8082"
 environment:
 CLUSTER_ID: "EaJs_OcfTB6oWCOPTuY64Q"
 KAFKA_NODE_ID: 1
 KAFKA_PROCESS_ROLES: "broker,controller"
 KAFKA_CONTROLLER_LISTENER_NAMES: "CONTROLLER"
 KAFKA_CONTROLLER_QUORUM_VOTERS: "1@kafka:29093"
 KAFKA_INTER_BROKER_LISTENER_NAME: "PLAINTEXT"
 KAFKA_LISTENERS: "PLAINTEXT://kafka:29092,CONTROLLER://kafka:29093,PLAINTEXT_HOST://0.0.0.0:9092"
 KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT"
 KAFKA_ADVERTISED_LISTENERS: "PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092"
 KAFKA_LOG_DIRS: "/tmp/kraft-combined-logs"
 KAFKA_REST_HOST_NAME: rest-proxy
 KAFKA_REST_BOOTSTRAP_SERVERS: "kafka:29092"
 KAFKA_REST_LISTENERS: "http://0.0.0.0:8082"

 kafka-ui: # Optional
 container_name: kafka-ui
 image: provectuslabs/kafka-ui:latest
 ports:
 - "8080:8080"
 depends_on:
 - kafka
 environment:
 KAFKA_CLUSTERS_0_NAME: local
 KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: kafka:29092
 KAFKA_CLUSTERS_0_AUDIT_TOPICAUDITENABLED: 'true'
 KAFKA_CLUSTERS_0_AUDIT_CONSOLEAUDITENABLED: 'true'</code></pre><blockquote>confluent-local 이미지는 개발 환경을 위한 것이므로 프로덕션 환경에서는 <a target="_blank" rel="noopener" href="https://github.com/confluentinc/cp-all-in-one/blob/7.7.0-post/cp-all-in-one-kraft/docker-compose.yml">cp-all-in-one-kraft</a> 를 참고해서 cp-kafka 로 직접 구성해야합니다.</blockquote><h4 id="Kafka-클러스터-아이디"><a href="#Kafka-클러스터-아이디" title="Kafka 클러스터 아이디"></a>Kafka 클러스터 아이디</h4><a target="_blank" rel="noopener" href="https://docs.confluent.io/platform/current/kafka-metadata/config-kraft.html#generate-and-format-ids">kafka-storage</a>로 카프카에서 사용할 클러스터 아이디를 만들어야하며 kafka-storage 는 confluent-local 이미지에 포함되어 있어 아래와 같이 명령어를 실행하여 생성할 수 있다. <a target="_blank" rel="noopener" href="https://sleeplessbeastie.eu/2021/10/22/how-to-generate-kafka-cluster-id/">How to generate Kafka cluster ID</a> 에서는 kafka-storage 를 사용하지 않고도 Base64로 인코딩된 UUID를 만드는 방법에 대해서 알려주고 있으니 참고하면 좋겠다.<pre data-language="bash">Terminal<code># docker run --rm confluentinc/confluent-local:7.5.6 /bin/sh -c "/bin/uuidgen --time | tr -d '-' | base64 | cut -b 1-22"
docker run --rm confluentinc/confluent-local:7.5.6 /bin/kafka-storage random-uuid
EaJs_OcfTB6oWCOPTuY64Q</code></pre><h4 id="참고자료"><a href="#참고자료" title="참고자료"></a>참고자료</h4><ul><li><a target="_blank" rel="noopener" href="https://developer.confluent.io/learn/kraft/">KRaft: Apache Kafka Without ZooKeeper</a></li><li><a target="_blank" rel="noopener" href="https://devocean.sk.com/blog/techBoardDetail.do?ID=165711">Apache Kafka의 새로운 협의 프로토콜인 KRaft에 대해</a></li><li><a target="_blank" rel="noopener" href="https://aws.amazon.com/ko/about-aws/whats-new/2024/05/amazon-msk-kraft-mode-apache-kafka-clusters/">Amazon MSK, 새로운 Apache Kafka 클러스터를 위한 KRaft 모드 지원</a></li><li><a target="_blank" rel="noopener" href="https://sleeplessbeastie.eu/2021/10/22/how-to-generate-kafka-cluster-id/">How to generate Kafka cluster ID</a></li></ul></div></div>

Mambo

Apache Kafka에 대한 학습을 위해 도커 컴포즈로 카프카에 대한 환경을 구성할 때 대부분 wurstmeister/kafka-docker 또는 confluentinc/cp-kafka 사용하여 ZooKeeper 기반의 카프카를 실행하는 방법에 대해 설명하는 것을 볼 수 있다. 본 글에서는 컨플루언트에서 제공하는 confluentinc/confluent-local를 사용해 KRaft 모드의 Apache Kafka에 대한 학습 환경을 만드는 것을 공유하고자 한다.
도커 컴포즈 문서 작성
compose.yaml
version: '3'services:  kafka:    image: confluentinc/confluent-local:7.5.6    hostname: kafka    container_name: kafka    ports:      - "9092:9092"      - "8082:8082"    environment:      CLUSTER_ID: "EaJs_OcfTB6oWCOPTuY64Q"      KAFKA_NODE_ID: 1      KAFKA_PROCESS_ROLES: "broker,controller"      KAFKA_CONTROLLER_LISTENER_NAMES: "CONTROLLER"      KAFKA_CONTROLLER_QUORUM_VOTERS: "1@kafka:29093"      KAFKA_INTER_BROKER_LISTENER_NAME: "PLAINTEXT"      KAFKA_LISTENERS: "PLAINTEXT://kafka:29092,CONTROLLER://kafka:29093,PLAINTEXT_HOST://0.0.0.0:9092"      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT"      KAFKA_ADVERTISED_LISTENERS: "PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092"      KAFKA_LOG_DIRS: "/tmp/kraft-combined-logs"      KAFKA_REST_HOST_NAME: rest-proxy      KAFKA_REST_BOOTSTRAP_SERVERS: "kafka:29092"      KAFKA_REST_LISTENERS: "http://0.0.0.0:8082"  kafka-ui: # Optional    container_name: kafka-ui    image: provectuslabs/kafka-ui:latest    ports:      - "8080:8080"    depends_on:      - kafka    environment:      KAFKA_CLUSTERS_0_NAME: local      KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: kafka:29092      KAFKA_CLUSTERS_0_AUDIT_TOPICAUDITENABLED: 'true'      KAFKA_CLUSTERS_0_AUDIT_CONSOLEAUDITENABLED: 'true'
confluent-local 이미지는 개발 환경을 위한 것이므로 프로덕션 환경에서는 cp-all-in-one-kraft 를 참고해서 cp-kafka 로 직접 구성해야합니다.
Kafka 클러스터 아이디
kafka-storage로 카프카에서 사용할 클러스터 아이디를 만들어야하며 kafka-storage 는 confluent-local 이미지에 포함되어 있어 아래와 같이 명령어를 실행하여 생성할 수 있다. How to generate Kafka cluster ID 에서는 kafka-storage 를 사용하지 않고도 Base64로 인코딩된 UUID를 만드는 방법에 대해서 알려주고 있으니 참고하면 좋겠다.
Terminal
# docker run --rm confluentinc/confluent-local:7.5.6 /bin/sh -c "/bin/uuidgen --time | tr -d '-' | base64 | cut -b 1-22"docker run --rm confluentinc/confluent-local:7.5.6 /bin/kafka-storage random-uuidEaJs_OcfTB6oWCOPTuY64Q
참고자료
KRaft: Apache Kafka Without ZooKeeper
Apache Kafka의 새로운 협의 프로토콜인 KRaft에 대해
Amazon MSK, 새로운 Apache Kafka 클러스터를 위한 KRaft 모드 지원
How to generate Kafka cluster ID

Apache Kafka KRaft 로컬 설치

댓글