<div id="readability-page-1" class="page"><div>
 <a href="/m/category/DevOps/Github%20Action">DevOps/Github Action</a><h3>[Github Action] EKS, Karpenter 그리고 Window Runner</h3>
 </div><cite>KoB</cite>
 2023. 11. 6. 23:09
 <div>
 

<blockquote data-ke-style="style2">들어가기 앞서 저는 Windows 를 많이 다뤄보지 않았기 때문에 부족하거나 틀린 부분이 있을 수 있습니다!</blockquote>

쿠버네티스는 v1.23 버전, Karpenter 는 v0.31 버전입니다.

쿠버네티스(EKS) 환경에 윈도우와 Karpenter 를 활성화 하는 방법에 대해선 <a href="https://kingofbackend.tistory.com/277" target="_blank" rel="noopener">여기를 참고</a>하세요.
Karpenter 에 대해 궁금하다면 <a href="https://kingofbackend.tistory.com/category/DevOps/Karpenter" target="_blank" rel="noopener">여기를 참고</a>하세요.

그럼 렛츠두더코드~
<figure data-ke-mobilestyle="widthOrigin" data-filename="로켓-렛츠.png" data-origin-width="453" data-origin-height="395">
 
 <img src="https://blog.kakaocdn.net/dn/Hh9Hu/btszK5OegUy/pUvRkTkFKRGlVfIYwxOKy0/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="로켓-렛츠.png" data-origin-width="453" data-origin-height="395">
 
 
</figure>


우리가 쿠버네티스를 사용하는 방법은 바로 오케스트레이션을 위함이죠.
하나의 마스터 플레인으로 여러 노드의 여러 파드를 좀 더 쉽게 관리하기 위해서입니다.

Action Runner 역시 예외는 아니죠.
<a href="https://github.com/actions/actions-runner-controller" target="_blank" rel="noopener">Action Runner Controller</a> 를 이용하면 쉽게 쿠버네티스 환경에서 파드 단위의 Runner 배포가 가능합니다.

<blockquote data-ke-style="style2">맨 처음 Action Runner Controller 를 접했을 땐 Official 하지 않았는데, 현재는 <a href="https://docs.github.com/en/actions/hosting-your-own-runners/managing-self-hosted-runners-with-actions-runner-controller/about-actions-runner-controller" target="_blank" rel="noopener">Github Docs</a> 에도 가이드하고 있습니다.</blockquote>

리눅스 기반의 노드라면 어렵지 않아요. 제공되는 Action Runner Controller 이미지를 사용하면 됩니다.
하지만 윈도우는 얘기가 좀 다릅니다.

<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-11-06 오후 10.49.33.png" data-origin-width="965" data-origin-height="100">
 
 <img src="https://blog.kakaocdn.net/dn/65GEH/btszUz0QTwy/2FbumZ7HTziOVmqpKC94uK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-11-06 오후 10.49.33.png" data-origin-width="965" data-origin-height="100">
 
 
</figure><figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-11-06 오후 10.49.47.png" data-origin-width="941" data-origin-height="199">
 
 <img src="https://blog.kakaocdn.net/dn/oqTCq/btszK2RmIzN/6Tv7Sravmibmukv1YKmghk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-11-06 오후 10.49.47.png" data-origin-width="941" data-origin-height="199">
 
 
</figure>

네.. 공식적으로 지원을 안해줍니다.. 따라서 이미지를 직접 만들어야 합니다.

다행히 완전히 윈도우를 배제한 것은 아니에요.
<a href="https://github.com/actions/actions-runner-controller/blob/master/docs/configuring-windows-runners.md" target="_blank" rel="noopener">여기</a>를 보면 이렇게 윈도우에 대해서 가이드하고 있죠.
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-11-06 오후 10.50.46.png" data-origin-width="1081" data-origin-height="680">
 
 <img src="https://blog.kakaocdn.net/dn/bB0eTk/btszLliYOan/SoV3r1txdavJsX1X7oFbC1/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-11-06 오후 10.50.46.png" data-origin-width="1081" data-origin-height="680">
 
 
</figure>

문서를 보면 Dockerfile 이 제공되는데 저는 조금~ 수정했습니다.
<pre id="code_1699278739350" data-ke-language="html" data-ke-type="codeblock"><code>FROM mcr.microsoft.com/windows/servercore:ltsc2019

ENV chocolateyVersion=1.4.0

WORKDIR /actions-runner

SHELL ["powershell", "-Command", "$ErrorActionPreference = 'Stop';$ProgressPreference='silentlyContinue';"]

RUN Invoke-WebRequest -Uri https://github.com/actions/runner/releases/download/v2.292.0/actions-runner-win-x64-2.292.0.zip -OutFile actions-runner-win-x64-2.292.0.zip

RUN if((Get-FileHash -Path actions-runner-win-x64-2.292.0.zip -Algorithm SHA256).Hash.ToUpper() -ne 'f27dae1413263e43f7416d719e0baf338c8d80a366fed849ecf5fffcec1e941f'.ToUpper()){ throw 'Computed checksum did not match' }

RUN Add-Type -AssemblyName System.IO.Compression.FileSystem ; [System.IO.Compression.ZipFile]::ExtractToDirectory('actions-runner-win-x64-2.292.0.zip', $PWD)

RUN Invoke-WebRequest -Uri 'https://aka.ms/install-powershell.ps1' -OutFile install-powershell.ps1; ./install-powershell.ps1 -AddToPath

RUN powershell Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('https://community.chocolatey.org/install.ps1'))

RUN powershell choco install git.install --params "'/GitAndUnixToolsOnPath'" -y

RUN powershell choco feature enable -n allowGlobalConfirmation

CMD [ "pwsh", "-c", "./config.cmd --name $env:RUNNER_NAME --url https://github.com/$env:RUNNER_ORG --runnergroup $env:RUNNER_GROUP --token $env:RUNNER_TOKEN --labels $env:RUNNER_LABELS --unattended --replace --ephemeral; ./run.cmd"]</code></pre>

<blockquote data-ke-style="style2">만약 2022 버전의 Karpenter 를 사용한다면 2019 가 아닌 2022 버전의 윈도우 이미지를 사용해야 합니다.</blockquote>

자 이제 이 Dockerfile 을 빌드해야 하는데 문제는 저는 윈도우가 없습니다..
그래서 Terraform 을 이용해서 간단하게 Windows 기반의 EC2 인스턴스를 생성해서 그 안에서 진행했습니다.

사용한 AMI 는 Karpenter 에서 사용하는 AMI 와 같습니다.
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-11-06 오후 10.55.45.png" data-origin-width="1977" data-origin-height="305">
 
 <img src="https://blog.kakaocdn.net/dn/slN3I/btszUcZci5S/VElXQE9ND5l1Mob8t8puLk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-11-06 오후 10.55.45.png" data-origin-width="1977" data-origin-height="305">
 
 
</figure>


또 다른 문제는 리눅스 기반처럼 SSH 로 접근이 불가능해서 아래와 같은 프로그램을 다운받아서 접속을 했습니다.
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-11-06 오후 10.56.48.png" data-origin-width="1975" data-origin-height="1076">
 
 <img src="https://blog.kakaocdn.net/dn/pHvAp/btszK4n4JAh/Axs5Zf1XAdaIBfWkdE7O10/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-11-06 오후 10.56.48.png" data-origin-width="1975" data-origin-height="1076">
 
 
</figure><figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-11-06 오후 10.57.26.png" data-origin-width="1381" data-origin-height="1207">
 
 <img src="https://blog.kakaocdn.net/dn/bGTgEn/btszU3Oc7jj/w7SB5vudxk1cVJGWYim890/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-11-06 오후 10.57.26.png" data-origin-width="1381" data-origin-height="1207">
 
 
</figure><figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-11-06 오후 10.57.42.png" data-origin-width="1989" data-origin-height="1179">
 
 <img src="https://blog.kakaocdn.net/dn/bNegKZ/btszOMz8Ubz/CMUZuRldIcd2C0J5b9dwmk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" width="855" height="507" data-filename="스크린샷 2023-11-06 오후 10.57.42.png" data-origin-width="1989" data-origin-height="1179">
 
 
</figure>


자 그럼 띄운 윈도우에선 빌드를 진행해보죠!
<figure data-ke-mobilestyle="widthOrigin" data-origin-width="1991" data-origin-height="978">
 
 <img src="https://blog.kakaocdn.net/dn/biYb0k/btszVvjz166/C3IyqyvMcteIMOUQ5bkiHk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="1991" data-origin-height="978">
 
 
</figure>

<blockquote data-ke-style="style2">.NET Framework 4.8 was installed, but a reboot is required. Please reboot the system and try to install/upgrade Chocolatey again.빌드 하다 이런 에러가 발생한다면 <a href="https://stackoverflow.com/questions/76470752/chocolatey-installation-in-docker-started-to-fail-restart-due-to-net-framework" target="_blank" rel="noopener">여기</a>를 참고해주세요. 깃헙 문서에 있는 Dockerfile 을 그대로 쓰면 발생할 겁니다.</blockquote>

성공적으로 빌드가 됐습니다.
이미지가 상당히 큰데.. 윈도우 베이스 이미지 크기 자체가 커서 어쩔 수 없습니다 ㅜㅜ
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-11-06 오후 11.00.25.png" data-origin-width="1993" data-origin-height="203">
 
 <img src="https://blog.kakaocdn.net/dn/GpjMC/btszQByqpn2/wmQDJdEz7MvXeiJmgsYekK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-11-06 오후 11.00.25.png" data-origin-width="1993" data-origin-height="203">
 
 
</figure>
<blockquote data-ke-style="style2">Dockerfile 에서 Layer 를 줄이기 위해 Run 을 한줄로 쓰면 소폭으로 줄일 수 있지 않을까요?</blockquote>

이후 윈도우 기반의 노드를 Karpenter 로 프로비저닝한 후 파드로 배포하면 성공적으로 배포되는 걸 알 수 있습니다.
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-11-06 오후 11.01.42.png" data-origin-width="1985" data-origin-height="155">
 
 <img src="https://blog.kakaocdn.net/dn/57YaF/btszL0yTgtY/3kAj5hICf9NfK80598eKuK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-11-06 오후 11.01.42.png" data-origin-width="1985" data-origin-height="155">
 
 
</figure><figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-11-06 오후 11.06.11.png" data-origin-width="1403" data-origin-height="1224">
 
 <img src="https://blog.kakaocdn.net/dn/3GjdJ/btszVt0mJsC/SBN2QMExP2Wm8kvmEKImEK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-11-06 오후 11.06.11.png" data-origin-width="1403" data-origin-height="1224">
 
 
</figure>

<blockquote data-ke-style="style2">만약 아래와 같이 No such host is Known 이라는 에러가 발생한다면 <a href="https://kingofbackend.tistory.com/277#article-2--karpenter-%EC%84%A4%EC%A0%95" target="_blank" rel="noopener">여기를 참고</a> 해주세요.EKS 에서 윈도우 기반의 워커 노드 관련한 설정이 되지 않아서 발생한 에러입니다. 워커 노드는 Join 했지만 파드가 CoreDNS 에 접근을 못해서 DNS 를 찾지못해 발생하는 에러죠.</blockquote>
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-11-06 오후 11.03.38.png" data-origin-width="1975" data-origin-height="788">
 
 <img src="https://blog.kakaocdn.net/dn/pY0NZ/btszUraSU3S/ze76h9HFQB09RGdzqRdM70/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-11-06 오후 11.03.38.png" data-origin-width="1975" data-origin-height="788">
 
 
</figure>


오늘은 이렇게 Windows 기반의 워커 노드에 Runner 이미지를 직접 빌드하여 파드로 배포하는 방법에 대해 알아보았습니다.
글로는 그렇게 길지 않지만... 정말 뻘짓이 많았던 작업이였네요..

그럼 오늘은 여기까지~!
<figure data-ke-mobilestyle="widthOrigin" data-filename="로켓-따봉.png" data-origin-width="573" data-origin-height="388">
 
 <img src="https://blog.kakaocdn.net/dn/1x9wC/btszRSNBCUp/kKTPQAPbTAVrgVKkC9Kp70/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="로켓-따봉.png" data-origin-width="573" data-origin-height="388">
 
 
</figure>

 
 
 </div></div>

King of Back-end

들어가기 앞서 저는 Windows 를 많이 다뤄보지 않았기 때문에 부족하거나 틀린 부분이 있을 수 있습니다!
 
쿠버네티스는 v1.23 버전, Karpenter 는 v0.31 버전입니다.
 
쿠버네티스(EKS) 환경에 윈도우와 Karpenter 를 활성화 하는 방법에 대해선 여기를 참고하세요.
Karpenter 에 대해 궁금하다면 여기를 참고하세요.
 
그럼 렛츠두더코드~
 
 
우리가 쿠버네티스를 사용하는 방법은 바로 오케스트레이션을 위함이죠.
하나의 마스터 플레인으로 여러 노드의 여러 파드를 좀 더 쉽게 관리하기 위해서입니다.
 
Action Runner 역시 예외는 아니죠.
Action Runner Controller 를 이용하면 쉽게 쿠버네티스 환경에서 파드 단위의 Runner 배포가 가능합니다.
 
맨 처음 Action Runner Controller 를 접했을 땐 Official 하지 않았는데, 현재는 Github Docs 에도 가이드하고 있습니다.
 
리눅스 기반의 노드라면 어렵지 않아요. 제공되는 Action Runner Controller 이미지를 사용하면 됩니다.
하지만 윈도우는 얘기가 좀 다릅니다.
 
 
네.. 공식적으로 지원을 안해줍니다.. 따라서 이미지를 직접 만들어야 합니다.
 
다행히 완전히 윈도우를 배제한 것은 아니에요.
여기를 보면 이렇게 윈도우에 대해서 가이드하고 있죠.
 
문서를 보면 Dockerfile 이 제공되는데 저는 조금~ 수정했습니다.
FROM mcr.microsoft.com/windows/servercore:ltsc2019
ENV chocolateyVersion=1.4.0
WORKDIR /actions-runner
SHELL ["powershell", "-Command", "$ErrorActionPreference = 'Stop';$ProgressPreference='silentlyContinue';"]
RUN Invoke-WebRequest -Uri https://github.com/actions/runner/releases/download/v2.292.0/actions-runner-win-x64-2.292.0.zip -OutFile actions-runner-win-x64-2.292.0.zip
RUN if((Get-FileHash -Path actions-runner-win-x64-2.292.0.zip -Algorithm SHA256).Hash.ToUpper() -ne 'f27dae1413263e43f7416d719e0baf338c8d80a366fed849ecf5fffcec1e941f'.ToUpper()){ throw 'Computed checksum did not match' }
RUN Add-Type -AssemblyName System.IO.Compression.FileSystem ; [System.IO.Compression.ZipFile]::ExtractToDirectory('actions-runner-win-x64-2.292.0.zip', $PWD)
RUN Invoke-WebRequest -Uri 'https://aka.ms/install-powershell.ps1' -OutFile install-powershell.ps1; ./install-powershell.ps1 -AddToPath
RUN powershell Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('https://community.chocolatey.org/install.ps1'))
RUN powershell choco install git.install --params "'/GitAndUnixToolsOnPath'" -y
RUN powershell choco feature enable -n allowGlobalConfirmation
CMD [ "pwsh", "-c", "./config.cmd --name $env:RUNNER_NAME --url https://github.com/$env:RUNNER_ORG --runnergroup $env:RUNNER_GROUP --token $env:RUNNER_TOKEN --labels $env:RUNNER_LABELS --unattended --replace --ephemeral; ./run.cmd"]
 
만약 2022 버전의 Karpenter 를 사용한다면 2019 가 아닌 2022 버전의 윈도우 이미지를 사용해야 합니다.
 
자 이제 이 Dockerfile 을 빌드해야 하는데 문제는 저는 윈도우가 없습니다..
그래서 Terraform 을 이용해서 간단하게 Windows 기반의 EC2 인스턴스를 생성해서 그 안에서 진행했습니다.
 
사용한 AMI 는 Karpenter 에서 사용하는 AMI 와 같습니다.
 
 
또 다른 문제는 리눅스 기반처럼 SSH 로 접근이 불가능해서 아래와 같은 프로그램을 다운받아서 접속을 했습니다.
 
 
자 그럼 띄운 윈도우에선 빌드를 진행해보죠!
 
.NET Framework 4.8 was installed, but a reboot is required. Please reboot the system and try to install/upgrade Chocolatey again.
빌드 하다 이런 에러가 발생한다면 여기를 참고해주세요.
깃헙 문서에 있는 Dockerfile 을 그대로 쓰면 발생할 겁니다.
 
성공적으로 빌드가 됐습니다.
이미지가 상당히 큰데.. 윈도우 베이스 이미지 크기 자체가 커서 어쩔 수 없습니다 ㅜㅜ
Dockerfile 에서 Layer 를 줄이기 위해 Run 을 한줄로 쓰면 소폭으로 줄일 수 있지 않을까요?
 
이후 윈도우 기반의 노드를 Karpenter 로 프로비저닝한 후 파드로 배포하면 성공적으로 배포되는 걸 알 수 있습니다.
 
만약 아래와 같이 No such host is Known 이라는 에러가 발생한다면 여기를 참고 해주세요.
EKS 에서 윈도우 기반의 워커 노드 관련한 설정이 되지 않아서 발생한 에러입니다.
워커 노드는 Join 했지만 파드가 CoreDNS 에 접근을 못해서 DNS 를 찾지못해 발생하는 에러죠.
 
 
오늘은 이렇게 Windows 기반의 워커 노드에 Runner 이미지를 직접 빌드하여 파드로 배포하는 방법에 대해 알아보았습니다.
글로는 그렇게 길지 않지만... 정말 뻘짓이 많았던 작업이였네요..
 
그럼 오늘은 여기까지~!

[Github Action] EKS, Karpenter 그리고 Window Runner

댓글