<div id="readability-page-1" class="page"><div>

 				<article>
					
					<div>
						이 글은 원글(<a href="https://engineering.razorpay.com/leader-election-using-consul-and-golang-73580fb14463">Leader Election using Consul and Golang</a>)의 저작자 Sunny Aggrawal씨의 허락을 받고 번역한 글 입니다.
<hr>
분산 컴퓨팅에서 리더 선택은 단일 노드를 여러 노드에 분산되는 일부 작업의 주관자로 지정하는 프로세스입니다. 처음에는 모든 네트워크 노드가 작업의 “리더” 역할을 할 노드를 알지 못합니다. 리더 선택 알고리즘이 실행된 후, 네트워크의 각 노드는 특정 고유 노드를 작업 리더로 인식하고 다른 노드는 팔로워 노드 역할을 합니다.
리더 - 클러스터의 노드가 특수 작업을 수행하도록 지정되었습니다. 이러한 특수 작업에는 작업 할당 기능, 데이터 수정 기능 또는 시스템의 모든 요청을 처리하는 책임도 포함될 수 있습니다.
팔로워 - 할당된 작업을 수행하는 클러스터의 노드입니다.
예: 쿠버네티스 클러스터에서
<ul>
<li>여러 Kube-scheduler 인스턴스가 컨트롤 플레인(control plane)에서 실행됩니다.</li>
<li>선출된 리더만이 노드(nodes)간 포드(pod) 스케줄링을 담당합니다.</li>
</ul>
Razorpay에서도 Metro(오픈 소스 PubSub 기반 비동기 메시징 서비스)에서 유사한 사용 사례가 있었습니다. Metro는 Metro worker를 배치하여 푸시 기반 메시지 전달을 지원합니다. 이러한 Metro worker는 항목의 메시지를 읽고 구독자 엔드포인트로 푸시합니다. Metro worker들 사이의 구독 할당은 리더 선거 과정을 통해 선출된 리더에 의해 처리됩니다.
<img src="https://shrinklabs.com/image/leader_election_using_consul_and_golang/1_0cYFM3r_nAVf2L43pDeLhg.png" alt="리더 선출을 위해서 경쟁하는 노드">
일반적으로, 리더 선택은 분산 잠금을 사용하여 구현됩니다. 여기서 모든 노드가 동일한 리소스에 대한 잠금을 획득하기 위해 경쟁하고, 잠금을 획득하는 노드가 리더가 됩니다. 분산 잠금을 구현하기 위해서는 어떤 노드가 잠금을 유지하는지 결정하는 강력한 일관성이 있는 시스템이 필요합니다. 왜냐하면 이것은 원자 작용이어야 하기 때문입니다. 일반적으로 Paxos, Raft 프로토콜과 같은 합의 프로토콜이 이러한 목적으로 사용됩니다. 그러나 이러한 알고리즘을 올바르게 구현하는 것은 매우 어렵습니다. 구현은 광범위하게 테스트되고 공식적으로 입증되어야 하기 때문입니다. 리더 선출은 사육사, 영사 등과 같은 제3자 툴을 사용하여 구현할 수도 있지만, 이러한 툴에 대한 HA 시스템 유지에 대한 운영 오버헤드가 추가됩니다.
Metro에서 데이터베이스 레지스트리로 Consul을 사용하고 있었기 때문에, 우리는 리더 선출을 위해 같은 것을 사용하기로 결정했습니다. Consul을 사용하여 분산 잠금을 구현한 방법을 살펴보겠습니다.
<h2 id="분산-잠금-구현">분산 잠금 구현</h2>
분산 잠금을 제공하는 시스템에서 요구되는 최소 보장은 다음과 같습니다.
<ol>
<li>상호 배제(Mutual exclusion) - 언제든지 한 클라이언트만 잠금을 유지할 수 있습니다.</li>
<li>교착 상태 없음(Deadlock free) - 결국 리소스를 잠근 클라이언트가 충돌하더라도 항상 잠금을 획득할 수 있습니다.</li>
<li>내결함성(Fault tolerance) - 분산 시스템의 노드 대부분이 작동 중인 경우 클라이언트는 잠금을 획득하고 해제할 수 있습니다.</li>
</ol>

<a href="https://www.consul.io/">Consul</a>은 가용성이 높은 분산형 키 값 저장소입니다(etcd, zookeeper 와 유사). consul의 데이터는 KV 리소스의 형태로 저장됩니다.
분산 잠금 요구 사항이 Consul에 의해 어떻게 충족되는지 살펴보겠습니다.
<h2 id="상호-배제mutual-exclusion">상호 배제(Mutual exclusion)</h2>
<ul>
<li>Consul은 클라이언트가 세션 API를 사용하여 세션을 생성하도록 요구합니다.</li>
<li>이 세션 ID는 KV 생성 API를 사용하여 KV 리소스를 가져오는 데 사용됩니다.</li>
<li>하나의 클라이언트만 성공을 보장합니다.</li>
</ul>
<h2 id="교착상태-없음deadlock-free">교착상태 없음(Deadlock free)</h2>
<ul>
<li>세션에는 TTL이 있습니다. 세션이 만료되고 수집된 키가 모두 해제/삭제되면 클라이언트는 주기적으로 세션을 갱신하여 만료되지 않도록 해야 합니다.</li>
</ul>
<h2 id="내결함성fault-tolerance">내결함성(Fault tolerance)</h2>
<ul>
<li>Consul이 HA 모드에서 실행 중이어야 합니다.</li>
</ul>
<h2 id="go에서-consul을-사용하여-리더-선출">Go에서 Consul을 사용하여 리더 선출</h2>
리더 선출은 아래의 4단계로 실시할 수 있습니다.
<img src="https://shrinklabs.com/image/leader_election_using_consul_and_golang/1_TyncBh-p31wMUowpaCC4mw.png" alt="Consul을 사용하는 리더 선거 구현 단계입니다">
<ol>
<li>
TTL을 사용하여 consul 세션을 생성합니다.
<div><pre><code data-lang="go">sessionID, _, err := client.Session().Create(&amp;api.SessionEntry{
 Name: "my-service-lock",
 Behavior: "delete",
 TTL: "30s",
 LockDelay : 2 * time.Second
}, nil)

if err != nil {
 panic(err)
}
</code></pre></div><h6 id="팁">팁</h6>
<blockquote>
<ul>
<li>응용 프로그램에 따라 TTL 값을 선택합니다. TTL이 크면 리더가 충돌할 경우 문제가 발생할 수 있으며 세션이 만료될 때까지 새 리더가 선출되지 않습니다. 값이 작을수록 세션을 더 자주 갱신해야 하며 시스템에 부하가 추가됩니다.</li>
<li>LockDelay는 KV가 해제된 후 즉시 획득되는 것을 방지합니다. 리더가 이 지연 간격을 사용하여 리더 하차 관련 작업을 수행할 수 있습니다.</li>
</ul>
</blockquote>
</li>
<li>
세션 갱신(Renew Session) 
renew/renewPeriodic API를 사용하여 세션을 정기적으로 갱신합니다. 세션은 TTL이 만료되기 전에 TTL 기간으로 갱신됩니다.
<div><pre><code data-lang="go">client.Session().RenewPeriodic(
 "30s",
 sessionID,
 nil,
 doneChan,
 )

</code></pre></div>이는 동기(blocking) 호출이므로 별도의 고루틴에서 실행해야 합니다. 일반적으로 doneCh는 현재 컨텍스트의 완료 채널이 됩니다.
</li>
<li>
합의된 키에 대한 잠금 설정 시도(Try to accquire a lock on an agreed key)
<div><pre><code data-lang="go">isAcquired, _, err := client.KV().Acquire(&amp;api.KVPair{
 Key: "path/to/leader/key",
 Value: []byte("any value"),
 Session: sessionID,
}, nil)

if err != nil {
 // handle error
}

// if no error and isAcquired is true node is leader node 
</code></pre></div>잠금을 획득할 수 있는 노드는 리더로 간주할 수 있으며 다른 노드는 팔로워가 됩니다.
<h6 id="팁-1">팁</h6>
<blockquote>
<ul>
<li>Value 매개 변수를 사용하여 클러스터 상태를 리더에서 팔로워로 전달할 수 있습니다. 예를 들어 팔로워가 리더에 연결하려는 경우 리더는 식별자를 Value에 포함할 수 있습니다.</li>
</ul>
</blockquote>
</li>
<li>
리더 키 보기(Watch Leader key)
<h5 id="watch-설정">watch 설정</h5>
<div><pre><code data-lang="go">params := map[string]interface{}{}
params["type"] = "key"
params["key"] = "path/to/leader/key"

plan, err := watch.Parse(params)
if err != nil {
 // handle error
}

// handler function which is invoked for any changes in the watched key
plan.Handler = handler

// blocking call, so this code should run in a go routine
plan.RunWithClientAndHclog(client, nil)
</code></pre></div><h5 id="watch-업데이트-처리handle-watch-updates">watch 업데이트 처리(Handle watch updates)</h5>
<div><pre><code data-lang="go">func handler(index uint64, result interface{}) {
 log.Printf("watch data: %s", result)
 // check if the returned key has a sessionID
 // if session ID is present, key is acquired by some node
 // if not, currently there is no leader, attempt to acquire the key
}
</code></pre></div>watches를 사용하여 키의 변경 내용을 확인할 수 있습니다. Consul은 변경 사항이 발생하면 이를 통지하므로 세션이 삭제/만료되면 리더 키에 대한 잠금이 해제되고 KV 쌍이 업데이트됩니다. 이 키를 감시하는 모든 노드에 알림이 표시됩니다. 알림을 받으면 모든 노드가 키 상태를 확인하고 새로운 선택을 실행할 수 있으며 프로세스가 계속됩니다.
개념적으로는 간단하지만 프로덕션 시스템을 작성할 때는 많은 사례를 고려해야 합니다.
<ul>
<li>배포시 발생하는 작업 - 배포 시 리더 노드가 다운됩니다. 문제를 훌륭하게 처리하려면 리더가 물러나야 합니다. 다른 노드가 즉시 리더가 될 수 있습니다. 리더는 세션 잠금을 해제하거나 세션 자체를 제거하여 물러날 수 있습니다.</li>
<li>리더/작업자 노드가 예기치 않게 중단되는 경우 - 리더가 물러나지 않고 노드가 예기치 않게 종료되는 경우에도 다른 노드는 세션이 만료될 때까지 리더가 존재한다고 생각하기 때문에 애플리케이션 요구 사항에 따라 적절한 TTL을 선택하는 것이 중요합니다.</li>
</ul>
</li>
</ol>
<h2 id="코드code">코드(Code)</h2>
Metro의 리더 선출 <a href="https://github.com/razorpay/metro/blob/5eb8881adbf5da6d387d1f4659916c83028dfb06/pkg/leaderelection/candidate.go#L56">구현</a>에서도 동일한 내용을 참조할 수 있습니다.
<h2 id="우리-함께-일해요">우리 함께 일해요!</h2>
저희가 하는 일이 여러분을 흥분시키시면 저희 엔지니어링 팀을 적극적으로 채용하고 있습니다. 우리는 비즈니스용 금융 인프라를 단순화하는 데 많은 관심을 기울이고 있습니다. 우리는 항상 훌륭한 사람들을 찾고 있습니다. 저희 구인 페이지를 통해 지원하시거나 <a href="mailto:sunny.aggrawal@razorpay.com">sunny.aggrawal@razorpay.com</a>으로 연락 주십시오.
<h2 id="참고">참고</h2>
<ol>
<li><a href="https://learn.hashicorp.com/tutorials/consul/application-leader-elections">https://learn.hashicorp.com/tutorials/consul/application-leader-elections</a></li>
<li><a href="https://clivern.com/leader-election-with-consul-and-golang/">https://clivern.com/leader-election-with-consul-and-golang/</a></li>
</ol>

</div>
				</article>

			</div></div>

ShrinkLabs

Jaehoon Kim

이 글은 원글(Leader Election using Consul and Golang)의 저작자 Sunny Aggrawal씨의 허락을 받고 번역한 글 입니다.
 분산 컴퓨팅에서 리더 선택은 단일 노드를 여러 노드에 분산되는 일부 작업의 주관자로 지정하는 프로세스입니다. 처음에는 모든 네트워크 노드가 작업의 “리더” 역할을 할 노드를 알지 못합니다. 리더 선택 알고리즘이 실행된 후, 네트워크의 각 노드는 특정 고유 노드를 작업 리더로 인식하고 다른 노드는 팔로워 노드 역할을 합니다.
리더 - 클러스터의 노드가 특수 작업을 수행하도록 지정되었습니다. 이러한 특수 작업에는 작업 할당 기능, 데이터 수정 기능 또는 시스템의 모든 요청을 처리하는 책임도 포함될 수 있습니다.

Consul과 Golang을 사용한 리더 선출

댓글