King of Back-end

EKS 에 배포된 파드들은 AWS 에 접근하기 위한 방법으로는 크게 2가지가 있습니다.
EC2 Instance Profile
IAM Role for Service Account
 
EC2 Instance Profile 은 워커 노드에게 AWS 에 접근할 수 있는 자격 증명을 해주죠.
 
정해진 EC2 인스턴스에 정해진 애플리케이션을 배포한다면 위 방법은 아주 좋은 방법이에요.
하지만, 쿠버네티스 환경에 배포되는 파드들은 하나의 특정한 노드에 배포되지 않아요. 
 
NodeAffinity 와 Label 을 통해서 노드를 제한하긴 하지만 느슨하게 그룹핑을 하죠.
 
만약 쿠버네티스 환경에서 App 이 Replica 3 개로 배포되고, Hard PodAffinity 를 주어 파드를 전부 다른 노드에 배포되게끔 한다면, 또 다른 3개의 노드가 모두 Instance Profile 을 가져야 합니다.
그러다 업데이트 하면서 기존 파드들이 완전 다른 노드들에 배포된다면, 또 그 노드들에 Instance Profile 을 지정하고, 이전 노드에서는 지워야 합니다. 너무 귀찮아요..
 
그래서 쿠버네티스에선 IRSA (IAM Role for Service Account) 을 지원합니다.
파드에 ServiceAccount 를 사용함으로써 AWS 에 접근할 수 있는 토큰이 파드 내 컨테이너들에 마운트됩니다.
 
그리고 이렇게 생성된 토큰은 실제로 AWS 에서 제공해주는 토큰으로 AWS Token 과 마찬가지로 최대 TTL 이 24시간이므로, kubelet 이 계속해서 갱신해줍니다. (여기 참고)
 
AWS 공식문서에 작성된 글을 보고 "아 이렇게 하면 파드 단위로 AWS 에 접근할 수 있구나" 라는 방법을 알 뿐,
그 안에서 돌아가는 메커니즘을 저도 서칭이 필요할 것 같습니다.
그리고 위에 IRSA 그림은 제가 이해한 내용을 토대로 추측한 내용입니다.
좀 더 자세하게 메커니즘을 서칭을 해보고 따로 글을 작성하겠습니다. (저도 너무 궁금한 부분이라는...!!)
 
아무튼 IRSA 를 사용하면 더 이상 노드 단위가 아닌 파드 단위로 AWS 에 접근할 수 있게 됩니다.
IRSA 를 사용하는 방법은 여기를 참고하시면 됩니다.
 
서론이 너무 길었네요... 그래도 EKS 를 사용한다면 IRSA 부분은 매우 중요하다 보니 살짝 다뤄보았습니다.
 
그럼 본론으로 넘어가서 이러한 IRSA 를 썼음에도 불구하고 왜 Vault 는 DynamoDB 에 접근을 못했는지 알아보고, 어떻게 해결 했는지 알아보도록 하죠.
 
렛츠두더코드~
 
 
Vault 는 다양한 백엔드 스토리지를 지원하는데 저는 HA 모드로 배포할 것이기 때문에 DynamoDB 를 선택했습니다.
Consul 과 Raft 도 위시리스트에 있었지만, 최종적으로는 DynamoDB 를 사용하기로 결정했습니다.
 
이유는 심플합니다. Consul 은 Vault 처럼 하시코프사의 제품인데 잘 몰라요.. 그리고 Raft 는 Intergrated Storage 방식인데 노드마다 Raft 를 가져야 해서 관리 측면에서 손이 많이 갈 것처럼 생각되었고, 무엇보다 각각의 Raft 를 백업하고자 하니 배보다 배꼽이 더 큰 생각이 들었습니다.
 
그래서 결국 DynamoDB 를 선택했습니다. AWS 에서 관리해주고, 확장성이 좋으며, 무엇보다 AWS Backup Policy 를 통해서 백업이 쉽게 가능했거든요. 
 
아래는 구성하고자 한 Vault 아키텍처입니다.
 
backend storage 로 dynamodb 를 사용하려고 아래처럼 config.hcl 을 구성했고,
storage "dynamodb" {
  ha_enabled = "true"
  region     = "ap-northeast-2"
  table      = "vault"
}
 
하시코프에서 공식적으로 제공되는 Vault Helm Chart 를 이용해 Vault 를 HA 모드로 배포했습니다.
 
그런데 아래와 같이 dynamoDB 에 접근할 수 없다는 에러가 발생합니다.
 
이미지에는 제가 검정색으로 가졌지만 자격 증명을 Web Token 즉, IRSA 로 하는 것이 아니라 EC2 Instance Profile 을 통해서 하더군요. 파드 내에 IRSA 를 Vault 가 인식하지 못했습니다. 
 
IRSA 를 먼저 확인하고, 없으면 EC2 Instance Profile 를 확인하는데 EC2 Instance Profile 를 이용해서 자격 증명을 한 것을 보아하니 아마 파드에 IRSA 가 할당되지 않은 것 같았습니다.
 
그래서 IRSA 생성 과정에 혹시나 오타가 있을까 눈으로 직접 yaml 을 확인했고, IRSA 를 테스트 해볼 파드를 만들어 확인한 결과 dynamoDB 에 접근이 가능했습니다.
 
그런데 막상 Vault 파드에선 자꾸 권한이 없다고 나오네요..
 
IRSA 에 오타도 없고, 파드에는 분명 /var/run/secrets/eks.amazonaws.com/serviceaccount/token 도 잘 마운트되어 있고, 나머지 환경변수도 잘 설정되어 있습니다.
 
혹시 Vault 가 배포되는 워커 노드에 문제가 있는 걸까?
하지만 배포되는 노드에는 aws-node 도 잘 실행되고 있고, describe node 를 해본 결과 환경 변수들도 잘 가지고 있습니다.
 
노드 문제는 아닌 거 같아요..!!
 
정말정말정말정말정말 문제가 없어 보이는데, 안된다... 미친다..
 
이 지경까지 오니 제가 알고 있던 EKS 지식들이 부정당하는 기분까지도 들었죠..
 
혹시 몰라서 Vault Repository 의 Issue 들을 한번 살펴보았는데..!! 비슷한 문제를 겪는 사람들이 꽤 있었습니다!!
 
hashicorp/vault-helm 이 아닌 hashicorp/vault 에 있는 Issue 들이다.. hashicorp/vault-helm 에는 관련 문제가 있진 않다..
 
그 중 하나를 들어가서 살펴보죠.
 
이 분은 AWS KMS 에 대한 접근이 불가능한 것이지만 어찌됐든 AWS 접근에 대한 문제이니 별반 다를 것이 없어 보입니다.
 
밑으로 스크롤 하고 있는데 이런 코멘트가 있더군요.
 
"1.14.1 버전을 사용해봐!!"
 
혹시 몰라서 다른 Issue 도 살펴보았습니다.
얼추봐도 제가 겪는 문제와 비슷해보이죠?
 
확실합니다. 1.14.1 버전으로 높이면 될 거 같아요!!
 
1.14.1 버전부터 문제가 fix 되었습니다.
이러한 문제가 대략 20년11월부터 있었는데… 3주 전에 해결이 됨…!!
참고로 글 작성 기준으로 오늘은 23년08월15일입니다... 3년...
 
 
그에 반해 가장 최신 버전의 Vault Chart 에선 여전히 1.14.0 버전을 사용하고 있었습니다.
 
 
이후 버전을 1.14.1 로 업그레이드 시켜줬더니 무사히 배포가 되었습니다.
 
늘 문제가 그렇듯 간단한 하나를 바꾸면 되는데.. 그걸 찾기가 쉽지 않네요..
 
간혹보면 WEB_TOKEN_FILE 로 AWS 인증이 불가능한 프로젝트들이 있습니다. (예. Goofys)
 
이럴 경우 AWS_SECRET_KEY 를 직접 제공해주는데.. IAM Role 같은 경우 최대 24시간마다 갱신해주어야 합니다.
아니면 IAM User 를 사용해야 하는데 IAM User 는 절대 아닌거 같아요.
 
결국 24시간마다 갱신할 수 있는 스크립트를 짜야할텐데.. 과연 이게 최선일까 라는 궁금증이 듭니다!!
혹시 좋은 방법이 있다면 꼭 알려주세요 :)
 
그럼 오늘은 여기까지!
 
 
PS.
글에선 생략되었지만 처음에 IRSA 가 왜 안먹히는지 테스트 해보고 싶어서 HA 모드가 아닌 Dev 모드로 실행했는데.. 이때도 AWS 에 접근이 불가능했습니다. 이것저것 알아본 결과 Dev 모드 같은 경우 Helm Chart 에서 ServiceAccount 에 Annotation 을 추가해주지 않더군요.. values.yaml 에 명시된 것이 없어서 모드와 상관없이 Annotation 을 추가하면 ServiceAccount 에 추가되는 줄 알았는데 아니였습니다. 그래서 Dev Mode 에선 _helper.tpl 을 약간 수정해주어서 테스트 했습니다.. 결국 Vault 버전 문제여서 성공도 못했고 상관도 없었지만.. ㅜㅜㅜ
 
            
'트러블 빵야' 카테고리의 다른 글
[Github Action]  타노스는 이런 느낌일까? RUNNER_TOKEN must be set  (7)
2023.02.20
[Kubernetes] 친한 듯, 안 친한 Pod 와 Goofys  (2)
2023.02.12
[Kubernetes] aws_auth 를 찾을 수 없습니다..  (0)
2022.12.23

[Vault] 나야.. 나 맞다고..!! - Vault AWS IRSA 문제

댓글