<div id="readability-page-1" class="page"><div>
 <a href="/m/category/%EB%82%98%EB%A7%8C%EC%9D%98%20%EC%9E%91%EA%B3%A0%20%EC%86%8C%EC%A4%91%ED%95%9C%20k8s%20%EC%99%95%EA%B5%AD">나만의 작고 소중한 k8s 왕국</a><h3>[나작소쿠] 성벽과 저장소 짓기 feat. Istio, CSI Driver NFS</h3>
 </div><cite>KoB</cite>
 2023. 8. 21. 22:55
 <div>
 

지난 글에서는 proxmox 을 설치한 후, 쿠버네티스 클러스터를 생성했습니다.
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-08-21 오후 10.19.20.png" data-origin-width="982" data-origin-height="703">
 
 <img src="https://blog.kakaocdn.net/dn/c2HUwb/btsrIfKi7Ij/FJgYFPvXPpMidiRZuViDP1/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" width="753" height="539" data-filename="스크린샷 2023-08-21 오후 10.19.20.png" data-origin-width="982" data-origin-height="703">
 
 
</figure>

이번에는 서비스 메쉬와 컨트롤러 역할을 해주는 Istio 와 CSI Driver NFS 를 설치합니다.

Istio 는 Nginx Controller 를 대신하고, mTLS 와 같은 기능을 사용하기 위해 설치하고, CSI Driver NFS 는 파드들의 볼륨으로 사용하기 위해 설치합니다.

Consul 을 도입해보고 싶은데 이건 추후 작업해보겠습니다!!

<blockquote data-ke-style="style2">모든 작업은 IaC 로 관리하기 위하여 테라폼으로 진행됩니다!</blockquote>

렛츠두더코드~
<figure data-ke-mobilestyle="widthOrigin" data-filename="로켓-렛츠.png" data-origin-width="453" data-origin-height="395">
 
 <img src="https://blog.kakaocdn.net/dn/xlVDE/btsrCQqZplI/VXpdsy9k3OKlLAyAmGMPnk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="로켓-렛츠.png" data-origin-width="453" data-origin-height="395">
 
 
</figure>


<h2 data-ke-size="size26">Istio</h2>
<hr contenteditable="false" data-ke-type="horizontalRule" data-ke-style="style6">
Helm 버전의 설치를 위한 가이드가 <a href="https://istio.io/latest/docs/setup/install/helm/" target="_blank" rel="noopener">공식 문서</a>에 잘 설명 되어 있습니다.

Helm Provider 에 맞게 코드화를 진행했고, terraform apply 를 통해 배포했습니다.
<blockquote data-ke-style="style2">굳이 혼자 사용하는데 S3, DynamoDB 를 사용해서 테라폼을 설정할 필요가 없을 거 같아 모두 로컬에서 관리합니다!</blockquote>
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-08-21 오후 10.23.07.png" data-origin-width="328" data-origin-height="681">
 
 <img src="https://blog.kakaocdn.net/dn/mHdP0/btsrUsIiKmp/Xhz1mObGsadOW8aFIVSK3K/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-08-21 오후 10.23.07.png" data-origin-width="328" data-origin-height="681">
 
 
</figure>


base, daemon, gateway 를 성공적으로 설치했습니다.

아, 참고로 base 는 crd 를 배포하는 부분이라 pod 로 배포된진 않아요.
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-08-21 오후 10.25.26.png" data-origin-width="1498" data-origin-height="208">
 
 <img src="https://blog.kakaocdn.net/dn/q3Obb/btsrErK3Csl/weXJiQjEk7dVWId6MOKym0/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-08-21 오후 10.25.26.png" data-origin-width="1498" data-origin-height="208">
 
 
</figure>

istio proxy 의 메커니즘을 이해해보고 싶어서 저는 privileged 를 true 로 주었습니다.
이렇게하면 tcpdump 와 같은 sudo 가 필요한 프로세스를 실행할 수 있죠.
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-08-21 오후 10.26.49.png" data-origin-width="345" data-origin-height="91">
 
 <img src="https://blog.kakaocdn.net/dn/qvqS7/btsrUuF6fr9/iogTVMdnNGHl7jEC67j7UK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-08-21 오후 10.26.49.png" data-origin-width="345" data-origin-height="91">
 
 
</figure>

또한 저는 온프레미스 환경이고 로드밸런서 같은 건 없으니 Ingress Gateway 의 서비스 NodePort 를 따로 지정하였고, 노드의 IP 가 바뀌는 경우를 대비하여 NodeAffinity&nbsp; 를 사용해 Worker Node 1 에만 배포되도록, 노드의 DHCP 는 사용하지 않습니다.

nginx 를 배포해서 Istio 를 테스트 해봤는데 문제 없습니다.
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-08-21 오후 10.29.50.png" data-origin-width="792" data-origin-height="281">
 
 <img src="https://blog.kakaocdn.net/dn/bvfofU/btsrTqcSssk/eozSo1QDVTd99CyKh6D7OK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-08-21 오후 10.29.50.png" data-origin-width="792" data-origin-height="281">
 
 
</figure>

이렇게 도식화 해볼 수 있겠군요.
<figure data-ke-mobilestyle="widthOrigin" data-origin-width="1277" data-origin-height="740">
 
 <img src="https://blog.kakaocdn.net/dn/sjIzl/btsrIaB8v7v/9zCR7bFfL4saU3RZ5k8HW1/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="1277" data-origin-height="740">
 
 
</figure>


<h2 data-ke-size="size26">CSI Driver NFS</h2>
<hr contenteditable="false" data-ke-type="horizontalRule" data-ke-style="style6">
NFS 를 사용해서 파드의 데이터들을 보관합니다.&nbsp;

우선 NFS 서버로 사용하고자 하는 가상 머신을 하나 생성합니다.
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-08-21 오후 10.35.34.png" data-origin-width="511" data-origin-height="327">
 
 <img src="https://blog.kakaocdn.net/dn/bfLIXh/btsrTrCR3mH/urQOkYyCmANihttWyeqYz1/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-08-21 오후 10.35.34.png" data-origin-width="511" data-origin-height="327">
 
 
</figure>

SSH 로 접속 한 후, 아래 명령어들을 순차적으로 실행합니다.
따로 설명하진 않을게요.
<pre id="code_1692624984555" data-ke-language="shell" data-ke-type="codeblock"><code>$ apt update

$ apt install -y nfs-kernel-server

$ systemctl list-units --type=service --state=running

$ systemctl status nfs-server

$ systemctl enable nfs-server

$ mkdir -p /mnt/k8s

$ chown -R nobody:nogroup /mnt/k8s/

$ chmod 777 /mnt/k8s</code></pre>
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-08-21 오후 10.36.57.png" data-origin-width="1974" data-origin-height="502">
 
 <img src="https://blog.kakaocdn.net/dn/LXFDj/btsrDDStVOA/I0g9YKKCxGKFCjunBfoQk0/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-08-21 오후 10.36.57.png" data-origin-width="1974" data-origin-height="502">
 
 
</figure>

<pre id="code_1692625465561" data-ke-language="shell" data-ke-type="codeblock"><code>$ /mnt/k8s 10.0.0.0/8(rw,sync,no_subtree_check)

$ exportfs -rav

$ systemctl restart nfs-server

$ systemctl status nfs-server</code></pre>
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-08-21 오후 10.44.33.png" data-origin-width="1981" data-origin-height="547">
 
 <img src="https://blog.kakaocdn.net/dn/cR3jss/btsrCRKexln/g0190PRQnBh1XAXkOWJbEk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-08-21 오후 10.44.33.png" data-origin-width="1981" data-origin-height="547">
 
 
</figure>

NFS Server 는 설치했고, 이제 NFS Client 도 설치해줘야 하는데... 문제는 워커 노드마다 모두 설치해줘야 합니다..
노드가 지금은 3개여서 괜찮지만, 100개라면 어우.. 빡세죠..

다행히 CSI Driver NFS 가 이 문제를 해결해줍니다.
NFS 도 말고도 EBS 와 같은 클라우드 저장소의 CSI 도 모두 지원해주니 큰 문제는 없어요!

역시 테라폼을 통해 설치해주었습니다.
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-08-21 오후 10.47.02.png" data-origin-width="297" data-origin-height="224">
 
 <img src="https://blog.kakaocdn.net/dn/bRZHlM/btsrRUeuClH/JRc1s0qT0K7jRgOiuD8gFk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-08-21 오후 10.47.02.png" data-origin-width="297" data-origin-height="224">
 
 
</figure>

csi-nfs-node 는 데몬셋으로 각 노드마다 하나씩 설치되면 이 파드들이 노드가 NFS Client 로 동작할 수 있게끔 지원해줍니다.
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-08-21 오후 10.50.22.png" data-origin-width="1620" data-origin-height="392">
 
 <img src="https://blog.kakaocdn.net/dn/bLpeR6/btsrSNlReg3/3ijEwsJh7e2p7QUlqI03Xk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-08-21 오후 10.50.22.png" data-origin-width="1620" data-origin-height="392">
 
 
</figure>

아래는 NFS 를 테스트할 예제입니다.
<pre id="code_1692625653846" data-ke-language="shell" data-ke-type="codeblock"><code>apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
 name: nfs-csi
provisioner: nfs.csi.k8s.io
parameters:
 server: 192.168.0.150
 share: /mnt/k8s
reclaimPolicy: Delete # Retain
volumeBindingMode: Immediate
mountOptions:
 - hard
 - nfsvers=4.1
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
 name: nfs-pvc
spec:
 storageClassName: nfs-csi
 accessModes: [ReadWriteOnce] # ReadWriteMany
 resources:
 requests:
 storage: 5Gi
---
apiVersion: apps/v1
kind: Deployment
metadata:
 name: nfs-example
 labels:
 app: nfs-example
spec:
 replicas: 3
 selector:
 matchLabels:
 app: nfs-example
 template:
 metadata:
 labels:
 app: nfs-example
 spec:
 containers:
 - image: ubuntu:20.04
 name: ubuntu
 command: ["/bin/bash", "-c", "tail -f /dev/null"]
 volumeMounts:
 - mountPath: /mnt/data
 name: nfs-pvc
 volumes:
 - name: nfs-pvc
 persistentVolumeClaim:
 claimName: nfs-pvc
---</code></pre>

Bound 가 된 걸 보니 성공적으로 설치되었습니다.
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-08-21 오후 10.47.59.png" data-origin-width="1984" data-origin-height="111">
 
 <img src="https://blog.kakaocdn.net/dn/bNadB5/btsrSM8kf0Q/GdOpWeHhLh9v8akjn00Gp1/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-08-21 오후 10.47.59.png" data-origin-width="1984" data-origin-height="111">
 
 
</figure>

파드에서 생성한 test.txt 가 실제 NFS 서버에서 확인할 수 있습니다.
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-08-21 오후 10.48.28.png" data-origin-width="1983" data-origin-height="162">
 
 <img src="https://blog.kakaocdn.net/dn/11StY/btsrCmKqpwa/wORbExkssAHULkTC8CApDK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-08-21 오후 10.48.28.png" data-origin-width="1983" data-origin-height="162">
 
 
</figure>

나중에 꼭 Consul 도 한번 도입해보겠습니다.

이렇게 오늘은 성벽과 저장소를 지어봤습니다.
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-08-21 오후 10.53.55.png" data-origin-width="1270" data-origin-height="970">
 
 <img src="https://blog.kakaocdn.net/dn/zw7Ca/btsrCwlTTfs/GgDsR222KKu6lkESRrClWK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-08-21 오후 10.53.55.png" data-origin-width="1270" data-origin-height="970">
 
 
</figure>

다음 시간엔 프로테메우스(보초), 그라파나(보초), 볼트(안보)를 설치해보겠습니다.

그럼 오늘은 여기까지!
<figure data-ke-mobilestyle="widthOrigin" data-filename="로켓-따봉.png" data-origin-width="573" data-origin-height="388">
 
 <img src="https://blog.kakaocdn.net/dn/HH3QN/btsrRS12N4B/EpRPuYJGLQoC8ht9nZWokK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="로켓-따봉.png" data-origin-width="573" data-origin-height="388">
 
 
</figure>

 
 
 </div></div>

King of Back-end

지난 글에서는 proxmox 을 설치한 후, 쿠버네티스 클러스터를 생성했습니다.
 
이번에는 서비스 메쉬와 컨트롤러 역할을 해주는 Istio 와 CSI Driver NFS 를 설치합니다.
 
Istio 는 Nginx Controller 를 대신하고, mTLS 와 같은 기능을 사용하기 위해 설치하고, CSI Driver NFS 는 파드들의 볼륨으로 사용하기 위해 설치합니다.
 
Consul 을 도입해보고 싶은데 이건 추후 작업해보겠습니다!!
 
모든 작업은 IaC 로 관리하기 위하여 테라폼으로 진행됩니다!
 
렛츠두더코드~
 
 
Istio
Helm 버전의 설치를 위한 가이드가 공식 문서에 잘 설명 되어 있습니다.
 
Helm Provider 에 맞게 코드화를 진행했고, terraform apply 를 통해 배포했습니다.
굳이 혼자 사용하는데 S3, DynamoDB 를 사용해서 테라폼을 설정할 필요가 없을 거 같아 모두 로컬에서 관리합니다!
 
 
base, daemon, gateway 를 성공적으로 설치했습니다.
 
아, 참고로 base 는 crd 를 배포하는 부분이라 pod 로 배포된진 않아요.
 
istio proxy 의 메커니즘을 이해해보고 싶어서 저는 privileged 를 true 로 주었습니다.
이렇게하면 tcpdump 와 같은 sudo 가 필요한 프로세스를 실행할 수 있죠.
 
또한 저는 온프레미스 환경이고 로드밸런서 같은 건 없으니 Ingress Gateway 의 서비스 NodePort 를 따로 지정하였고, 노드의 IP 가 바뀌는 경우를 대비하여 NodeAffinity  를 사용해 Worker Node 1 에만 배포되도록, 노드의 DHCP 는 사용하지 않습니다.
 
nginx 를 배포해서 Istio 를 테스트 해봤는데 문제 없습니다.
 
이렇게 도식화 해볼 수 있겠군요.
 
 
CSI Driver NFS
NFS 를 사용해서 파드의 데이터들을 보관합니다. 
 
우선 NFS 서버로 사용하고자 하는 가상 머신을 하나 생성합니다.
 
SSH 로 접속 한 후, 아래 명령어들을 순차적으로 실행합니다.
따로 설명하진 않을게요.
$ apt update
$ apt install -y nfs-kernel-server
$ systemctl list-units --type=service --state=running
$ systemctl status nfs-server
$ systemctl enable nfs-server
$ mkdir -p /mnt/k8s
$ chown -R nobody:nogroup /mnt/k8s/
$ chmod 777 /mnt/k8s
 
$ /mnt/k8s 10.0.0.0/8(rw,sync,no_subtree_check)
$ exportfs -rav
$ systemctl restart nfs-server
$ systemctl status nfs-server
 
NFS Server 는 설치했고, 이제 NFS Client 도 설치해줘야 하는데... 문제는 워커 노드마다 모두 설치해줘야 합니다..
노드가 지금은 3개여서 괜찮지만, 100개라면 어우.. 빡세죠..
 
다행히 CSI Driver NFS 가 이 문제를 해결해줍니다.
NFS 도 말고도 EBS 와 같은 클라우드 저장소의 CSI 도 모두 지원해주니 큰 문제는 없어요!
 
역시 테라폼을 통해 설치해주었습니다.
 
csi-nfs-node 는 데몬셋으로 각 노드마다 하나씩 설치되면 이 파드들이 노드가 NFS Client 로 동작할 수 있게끔 지원해줍니다.
 
아래는 NFS 를 테스트할 예제입니다.
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-csi
provisioner: nfs.csi.k8s.io
parameters:
  server: 192.168.0.150
  share: /mnt/k8s
reclaimPolicy: Delete # Retain
volumeBindingMode: Immediate
mountOptions:
  - hard
  - nfsvers=4.1
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc
spec:
  storageClassName: nfs-csi
  accessModes: [ReadWriteOnce] # ReadWriteMany
  resources:
    requests:
      storage: 5Gi
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-example
  labels:
    app: nfs-example
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nfs-example
  template:
    metadata:
      labels:
        app: nfs-example
    spec:
      containers:
        - image: ubuntu:20.04
          name: ubuntu
          command: ["/bin/bash", "-c", "tail -f /dev/null"]
          volumeMounts:
            - mountPath: /mnt/data
              name: nfs-pvc
      volumes:
        - name: nfs-pvc
          persistentVolumeClaim:
            claimName: nfs-pvc
---
 
Bound 가 된 걸 보니 성공적으로 설치되었습니다.
 
파드에서 생성한 test.txt 가 실제 NFS 서버에서 확인할 수 있습니다.
 
나중에 꼭 Consul 도 한번 도입해보겠습니다.
 
이렇게 오늘은 성벽과 저장소를 지어봤습니다.
 
다음 시간엔 프로테메우스(보초), 그라파나(보초), 볼트(안보)를 설치해보겠습니다.
 
그럼 오늘은 여기까지!

[나작소쿠] 성벽과 저장소 짓기 feat. Istio, CSI Driver NFS

댓글