<div id="readability-page-1" class="page"><div><figure></figure>이번 글에서는 Docker Build를 좀 더 효율적으로 하기 위한 Multi-stage build 와 BuildKit에 대해 정리해보겠습니다.</div><div><h2 id="e2e6">Multi-stage Build를 사용하기 전</h2>Docker 이미지를 만들 때 신경쓰는 부분 중 하나가 사이즈를 줄이는 일입니다. <code>RUN</code> 하나 마다 레이어가 생기므로 흔히 아래와 같이 Dockerfile을 작성하곤 합니다.<pre>RUN command1 \ &amp;&amp; command2 \ &amp;&amp; command3</pre>이러면 발생하는 단점이 빌드 중 <code>RUN</code> 에서 오류가 날 경우 구체적으로 어떤 커맨드에서 에러가 났는지를 알 수가 없습니다.혹은 Builder pattern을 사용하기도 합니다. 여기서 소개할 내용은 아니라서 간략하게만 설명하자면, 필요한 부분을 빌드하는 Dockerfile과 이걸 실제로 사용하는 Dockerfile을 나눠서 작성하고, 스크립트를 이용해 빌드하는 방식입니다. 스크립트는 아래와 같은 내용으로 작성됩니다.<ol><li id="9114">필요한 부분을 빌드 후</li><li id="fc83">container create(not start)</li><li id="c92b">docker cp 로 컨테이너에서 필요한 부분만 추출</li><li id="ca1a">3번에서 추출한 데이터를 포함해 최종적으로 사용할 이미지 빌드</li></ol>하지만 Builder pattern을 사용하게 되면 Dockerfile이 2개가 생기고, 스크립트를 관리해야된다는 단점이 있습니다.<h2 id="3648">Multi-stage Build</h2><blockquote>Multi-stage Build는 Docker Engine 17.05 이상에서 사용 가능합니다.</blockquote><h2 id="f261">기본 사용법</h2>Multi-stage build를 사용하게 되면 하나의 Dockerfile에서 작성이 가능하고, <code>FROM</code> 절이 2개 이상 생기게 됩니다.<pre>FROM golang:1.16 WORKDIR /go/src/github.com/alexellis/href-counter/ RUN go get -d -v golang.org/x/net/html COPY app.go ./ RUN CGO_ENABLED=0 GOOS=linux go build -a -installsuffix cgo -o app .FROM alpine:latest RUN apk --no-cache add ca-certificates WORKDIR /root/ COPY --from=0 /go/src/github.com/alexellis/href-counter/app ./ CMD ["./app"]</pre>첫 번째 <code>FROM</code>에서 빌드된 이미지에서 필요한 부분만 <code>COPY</code>명령어로 가져와서 사용할 수 있게 됩니다.<code>FROM</code> 순서에 따라 0번 부터 번호가 붙는데요, 아래 예시처럼 <code>AS</code> 를 이용해 이름을 주고 그 이름을 사용하는 것도 가능합니다. 당연히 이 방법이 더 가독성이 좋겠죠?<pre>FROM golang:1.16 AS builder WORKDIR /go/src/github.com/alexellis/href-counter/ RUN go get -d -v golang.org/x/net/html COPY app.go ./ RUN CGO_ENABLED=0 GOOS=linux go build -a -installsuffix cgo -o app .FROM alpine:latest RUN apk --no-cache add ca-certificates WORKDIR /root/ COPY --from=builder /go/src/github.com/alexellis/href-counter/app ./ CMD ["./app"]</pre><h2 id="827b">추가적인 방법들</h2><ul><li id="5c01"><code>COPY — from=</code> 에 외부 이미지도 사용 가능합니다.</li></ul><pre>COPY --from=nginx:latest /etc/nginx/nginx.conf /nginx.conf</pre><ul><li id="b911">Dockerfile에 작성된 FROM은 순차적으로 빌드가 되는데요, 빌드시 옵션을 줘서 특정 스테이지까지만 빌드하는 것도 가능합니다.</li></ul><pre>docker build --target builder -t [이미지 이름] .</pre><ul><li id="c690">이전 스테이지 이미지를 <code>FROM</code> 절에 사용하는 것도 가능합니다.</li></ul><pre>FROM alpine:latest AS builder RUN apk --no-cache add build-baseFROM builder AS build1 COPY source1.cpp source.cpp RUN g++ -o /binary source.cppFROM builder AS build2 COPY source2.cpp source.cpp RUN g++ -o /binary source.cpp</pre><h2 id="acb9">BuildKit</h2>Multi-stage 빌드 관련해서 문서를 보던 중 이런 의문이 들었습니다.<blockquote>각 FROM 절의 빌드를 병렬로 처리할 수 있는 방법은 없을까?</blockquote>너무 자연스럽게도, 도커 문서에 이와 관련된 내용이 있었는데 그게 바로 BuildKit입니다. BuildKit을 이용해 빌드를 하면 사용되지 않는 stage는 스킵되며, 병렬적으로 처리가 됩니다. 아래와 같이 Dockerfile을 작성하고 테스트를 해보겠습니다.<pre>FROM debian:buster AS s1 RUN sleep 10 RUN echo 1111 &gt; /opt/oneFROM debian:buster AS s2 RUN sleep 5 RUN echo 2222 &gt; /opt/twoFROM debian:buster COPY --from=s1 /opt /opt COPY --from=s2 /opt /opt</pre>이 Dockerfile을 BuildKit 없이 빌드를 하면 아래와 같이 빌드가 됩니다.<pre>docker build --no-cache -t buildkit:test .</pre><figure></figure>순차적으로 빌드가 되기 때문에 <code>s1</code> 빌드에서 10초 sleep 후 <code>s2</code> 빌드에서 5초 sleep하는 식으로 진행됩니다.이제 BuildKit을 이용해 빌드해보겠습니다. BuildKit을 활성화하는 건 2가지 방법이 있습니다.<ul><li id="3edd">docker build 명령어 앞에 <code>DOCKER_BUILDKIT=1</code> 을 붙인다.</li><li id="7c17">default로 사용하려면 /etc/docker/daemon.json 에 아래와 같이 설정 <code>{ “features”: { “buildkit”: true } }</code></li></ul>저는 첫 번째 방법을 사용했습니다.<pre>DOCKER_BUILDKIT=1 docker build --no-cache -t buildkit:test .</pre>그러면 아래와 같이 빌드가 됩니다.<figure></figure><code>s1</code>과 <code>s2</code> 빌드는 서로 병렬적으로 진행될 수 있기 때문에 동시에 진행됐고 따라서 빌드 시간이 단축되었습니다.<h2 id="647a">마치며</h2>이상으로 Multi-stage Build와 BuildKit에 대한 정리를 마치겠습니다. 해당 기능을 사용하시려는 분들께 조금이나마 도움이 되었으면 좋겠네요.다음에는 좀 더 좋은 글로 찾아뵙도록 하겠습니다.<h2 id="47a1">참고</h2><ul><li id="3445"><a href="https://docs.docker.com/build/building/multi-stage/" rel="noopener ugc nofollow" target="_blank">https://docs.docker.com/build/building/multi-stage/</a></li><li id="0b30"><a href="https://blog.alexellis.io/mutli-stage-docker-builds/" rel="noopener ugc nofollow" target="_blank">https://blog.alexellis.io/mutli-stage-docker-builds/</a></li><li id="849a"><a href="https://docs.docker.com/build/buildkit/" rel="noopener ugc nofollow" target="_blank">https://docs.docker.com/build/buildkit/</a></li></ul></div></div>

zigbang - Medium

이번 글에서는 Docker Build를 좀 더 효율적으로 하기 위한 Multi-stage build 와 BuildKit에 대해 정리해보겠습니다.
Multi-stage Build를 사용하기 전
Docker 이미지를 만들 때 신경쓰는 부분 중 하나가 사이즈를 줄이는 일입니다. RUN 하나 마다 레이어가 생기므로 흔히 아래와 같이 Dockerfile을 작성하곤 합니다.
RUN command1 \
    && command2 \
    && command3
이러면 발생하는 단점이 빌드 중 RUN 에서 오류가 날 경우 구체적으로 어떤 커맨드에서 에러가 났는지를 알 수가 없습니다.
혹은 Builder pattern을 사용하기도 합니다.
여기서 소개할 내용은 아니라서 간략하게만 설명하자면, 필요한 부분을 빌드하는 Dockerfile과 이걸 실제로 사용하는 Dockerfile을 나눠서 작성하고, 스크립트를 이용해 빌드하는 방식입니다. 스크립트는 아래와 같은 내용으로 작성됩니다.
필요한 부분을 빌드 후
container create(not start)
docker cp 로 컨테이너에서 필요한 부분만 추출
3번에서 추출한 데이터를 포함해 최종적으로 사용할 이미지 빌드
하지만 Builder pattern을 사용하게 되면 Dockerfile이 2개가 생기고, 스크립트를 관리해야된다는 단점이 있습니다.
Multi-stage Build
Multi-stage Build는 Docker Engine 17.05 이상에서 사용 가능합니다.
기본 사용법
Multi-stage build를 사용하게 되면 하나의 Dockerfile에서 작성이 가능하고, FROM 절이 2개 이상 생기게 됩니다.
FROM golang:1.16
WORKDIR /go/src/github.com/alexellis/href-counter/
RUN go get -d -v golang.org/x/net/html  
COPY app.go ./
RUN CGO_ENABLED=0 GOOS=linux go build -a -installsuffix cgo -o app .
FROM alpine:latest  
RUN apk --no-cache add ca-certificates
WORKDIR /root/
COPY --from=0 /go/src/github.com/alexellis/href-counter/app ./
CMD ["./app"]
첫 번째 FROM에서 빌드된 이미지에서 필요한 부분만 COPY명령어로 가져와서 사용할 수 있게 됩니다.
FROM 순서에 따라 0번 부터 번호가 붙는데요, 아래 예시처럼 AS 를 이용해 이름을 주고 그 이름을 사용하는 것도 가능합니다.
당연히 이 방법이 더 가독성이 좋겠죠?
FROM golang:1.16 AS builder
WORKDIR /go/src/github.com/alexellis/href-counter/
RUN go get -d -v golang.org/x/net/html  
COPY app.go    ./
RUN CGO_ENABLED=0 GOOS=linux go build -a -installsuffix cgo -o app .
FROM alpine:latest  
RUN apk --no-cache add ca-certificates
WORKDIR /root/
COPY --from=builder /go/src/github.com/alexellis/href-counter/app ./
CMD ["./app"]
추가적인 방법들
COPY — from= 에 외부 이미지도 사용 가능합니다.
COPY --from=nginx:latest /etc/nginx/nginx.conf /nginx.conf
Dockerfile에 작성된 FROM은 순차적으로 빌드가 되는데요, 빌드시 옵션을 줘서 특정 스테이지까지만 빌드하는 것도 가능합니다.
docker build --target builder -t [이미지 이름] .
이전 스테이지 이미지를 FROM 절에 사용하는 것도 가능합니다.
FROM alpine:latest AS builder
RUN apk --no-cache add build-base
FROM builder AS build1
COPY source1.cpp source.cpp
RUN g++ -o /binary source.cpp
FROM builder AS build2
COPY source2.cpp source.cpp
RUN g++ -o /binary source.cpp
BuildKit
Multi-stage 빌드 관련해서 문서를 보던 중 이런 의문이 들었습니다.
각 FROM 절의 빌드를 병렬로 처리할 수 있는 방법은 없을까?
너무 자연스럽게도, 도커 문서에 이와 관련된 내용이 있었는데 그게 바로 BuildKit입니다. BuildKit을 이용해 빌드를 하면 사용되지 않는 stage는 스킵되며, 병렬적으로 처리가 됩니다.
아래와 같이 Dockerfile을 작성하고 테스트를 해보겠습니다.
FROM debian:buster AS s1
RUN sleep 10
RUN echo 1111 > /opt/one
FROM debian:buster AS s2
RUN sleep 5
RUN echo 2222 > /opt/two
FROM debian:buster
COPY --from=s1 /opt /opt
COPY --from=s2 /opt /opt
이 Dockerfile을 BuildKit 없이 빌드를 하면 아래와 같이 빌드가 됩니다.
docker build --no-cache -t buildkit:test .
순차적으로 빌드가 되기 때문에 s1 빌드에서 10초 sleep 후 s2 빌드에서 5초 sleep하는 식으로 진행됩니다.
이제 BuildKit을 이용해 빌드해보겠습니다. BuildKit을 활성화하는 건 2가지 방법이 있습니다.
docker build 명령어 앞에 DOCKER_BUILDKIT=1 을 붙인다.
default로 사용하려면 /etc/docker/daemon.json 에 아래와 같이 설정
{ “features”: { “buildkit”: true } }
저는 첫 번째 방법을 사용했습니다.
DOCKER_BUILDKIT=1 docker build --no-cache -t buildkit:test .
그러면 아래와 같이 빌드가 됩니다.
s1과 s2 빌드는 서로 병렬적으로 진행될 수 있기 때문에 동시에 진행됐고 따라서 빌드 시간이 단축되었습니다.
마치며
이상으로 Multi-stage Build와 BuildKit에 대한 정리를 마치겠습니다. 해당 기능을 사용하시려는 분들께 조금이나마 도움이 되었으면 좋겠네요.
다음에는 좀 더 좋은 글로 찾아뵙도록 하겠습니다.
참고
https://docs.docker.com/build/building/multi-stage/
https://blog.alexellis.io/mutli-stage-docker-builds/
https://docs.docker.com/build/buildkit/
Multi-stage Docker Build와 BuildKit was originally published in 직방 기술 블로그 on Medium, where people are continuing the conversation by highlighting and responding to this story.

Multi-stage Docker Build와 BuildKit

댓글