<div id="readability-page-1" class="page"><div><p><h2 id="3442">Docker와 serverless-chrome 바이너리를 활용해서</h2></p><h2 id="ee76">들어가며</h2><p id="8c29">최근에 다시 취업을 준비하면서 취업 전, 그간 만들지 못했던 개인 프로젝트를 많이 만들어보고 있다. 한 프로젝트의 서브프로젝트로 AWS Lambda를 이용해 그 안에서 Python으로 Playwright를 써야할 일이 있었다. Node.js 생태계에서는 레이어나 Docker 이미지(AWS Lambda는 Lambda 코드와는 상관 없는 라이브러리나 의존 패키지를 관리하기 위해 레이어나 Docker 이미지를 지원하고 있다.)를 통해 Lambda에서도 puppeteer나 playwright를 쓸 수 있는 환경이 쉽게 마련되어있다. 그래서 나는 pyppeteer나 playwright의 Python 버전에서도 당연히 쓸 수 있을만한 환경이 되어있을 것이라고 순진하게 믿었다.</p><p id="9c49"><a href="https://github.com/zappa/Zappa" rel="noopener ugc nofollow" target="_blank">Zappa</a>를 쓰면 Python에서도 쉽게 Lambda 애플리케이션을 배포할 수 있고, 기존 Flask나 Django 애플리케이션도 Lambda 환경에서 이용할 수 있다. Zappa는 Layer와 Docker Image를 지원하기 때문에 걱정하지 않고 로컬에서 먼저 로직을 구현했었다. 하지만 실제로 playwright나 pyppeteer를 Lambda에서 쓰는 것은 쉽지 않았다. 프로젝트가 하나 있었지만 XVFB를 백그라운드에 실행시킨 채 웹킷을 띄우는 형태였고 그마저도 잘 되지 않았다. Python에서 Headless Chrome을 쓰는 것은 오직 <em>(나에게 익숙하지 않은)</em> Selenium으로의 회귀 밖에 없었다.</p><p id="22e4">그러면 기존 Node.js 프로젝트에서 어떻게 Headless Chrome을 Lambda에서 돌리는지 이해하면서 소위 그것을 따라하는 ‘삽질’을 반복해보는 수 밖에 없었다.</p><p id="bf7a">이번 글에서는 레이어를 이용해 <em>.tar.br</em> 형태의 tarball brotli 압축 파일을 이용해서 런타임에서 크로미움의 압축을 풀고 실행하는 것이 아닌, Docker Image를 통해 컨테이너 안에 <a href="https://github.com/adieuadieu/serverless-chrome" rel="noopener ugc nofollow" target="_blank">serverless-chrome</a>의 미리 빌드된 Headless Chromium 바이너리를 잘 쓰는걸 주로 설명한다.</p><h2 id="621c">serverless-chrome 바이너리를 Docker 이미지에 넣자!</h2><h2 id="e7dd">바이너리를 받는 쉘 스크립트를 만들기</h2><figure></figure><p id="40a8">우선 Dockerfile로 이미지를 빌드할 때, 이미지 안에 serverless-chrome의 바이너리를 넣기 위해 쓸 쉘 스크립트를 만들었다. 물론 Dockerfile 안에 <em>RUN</em> 커맨드로 넣어도 상관없다. 이 방식대로 따라하면 현재 디렉토리 밑으로 <em>bin/</em>이라는 폴더가 생길 것이고, 그 안에 <em>headless-chromium</em>이라는 파일이 생길 것이다. 우리는 이 바이너리를 Docker 이미지 안에 넣어서 Python 코드로 조작하면 되는 것이다.</p><h2 id="35b8">Zappa에서 사용 가능한 Dockerfile 만들기</h2><p id="797a">Zappa가 Docker를 지원하면서 문서에 이 기능에 대해서는 <a href="https://ianwhitestone.work/zappa-serverless-docker/" rel="noopener ugc nofollow" target="_blank">이 글</a>을 보라고 링크까지 걸었다. 나는 Zappa가 Poetry와 호환되는 것을 모르고, 메인 프로젝트는 Poetry를 썼지만 이 Lambda 프로젝트는 Poetry를 쓰지 않고 virtualenv를 이용했다. <em>(당연히 Poetry가 더 편하고 괜찮아서, 나는 추후엔 Poetry로 옮기는 것을 목표로 하고 있다.)</em></p><p id="3c70">지금 virtualenv 환경에 맞게 만든 내 예시 Dockerfile은 다음과 같다.</p><figure></figure><p id="380a">오히려 많은 사람들이 과정이 정말 별게 없어서 놀랄 것이다. 우리는 위에서 받은 바이너리와 의존 라이브러리, 내 코드가 미리 들어간 이미지를 만드는게 목표였기 때문에 어렵지 않게 구현할 수 있다.</p><h2 id="848d">Python Playwright에서 headless-chromium 바이너리 조작하기</h2><figure></figure><p id="0001">거의 다 따라온 것 같다. 여기 예제 코드를 넣어놓았다. 제일 중요한 부분은 로컬에서 실행할 때랑 Docker 안에서 실행할 때, 브라우저 바이너리의 위치와 실행 옵션을 바꿔야하는 것이다. 환경 변수를 이용해 미리 이것이 Docker로 실행하는 것인지 로컬에서 실행하는 것인지 파악하게 만든 후, 실행 옵션과 크로미움 위치를 이렇게 바꾸면 된다.</p><p id="6684">실행 옵션은 <a href="https://github.com/adieuadieu/serverless-chrome/blob/master/packages/lambda/src/flags.js" rel="noopener ugc nofollow" target="_blank">이 코드</a>와 <a href="https://github.com/adieuadieu/serverless-chrome/issues/116" rel="noopener ugc nofollow" target="_blank">이 이슈</a>를 참고했다. 중요한 옵션이 많다. 옵션을 조금씩 바꾸거나 추가할 수 있겠지만 필요한 옵션이 빠질 경우, Lambda에서 실행이 안된다! 이것을 잘못 넣어 몇번을 재배포했는지 모르겠다. 여러분은 나와 같은 실수를 반복하지 않길 바란다.</p><p id="9b5b">참고로 <a href="https://github.com/AtuboDad/playwright_stealth" rel="noopener ugc nofollow" target="_blank">playwright-stealth</a>는 Node.js 환경에도 같은 기능의 프로젝트가 있는데, Headless Browser인지 탐지하기 어렵게 만드는 라이브러리다. 꼭 사용하는 것을 추천한다.</p><h2 id="cc07">빌드와 배포</h2><figure></figure><p id="773f">과정이 너무 단순해서 허무할지도 모르겠다. 이것만 하면 잘 돌아가는 것을 확인할 수 있다. 배포가 되면 <em>zappa invoke </em>커맨드나 API를 호출해서 테스트해볼 수 있다. 혹시 모르니 아래에 샘플 zappa_settings.json을 같이 넣어드린다.</p><p id="50e7">1. Dockerfile로 이미지를 빌드하고, 태깅한 다음에 ECR에 배포한다.<br>2. ECR 주소를 옵션으로 Zappa를 배포한다.</p><figure></figure><h2 id="1f58">결론</h2><p id="c187">serverless-chrome 프로젝트는 비단 Node.js 뿐만 아니라, 여기서 빌드된 크로미움을 잘 이용하면 언어에 상관없이 AWS Lambda에서 브라우저를 다룰 수 있다. 이를 활용하는 방법이 어렵지 않으니 시도해볼 수 있다고 생각된다.</p></div></div>

Realignist’s LifeLog - Medium

Docker와 serverless-chrome 바이너리를 활용해서
들어가며
최근에 다시 취업을 준비하면서 취업 전, 그간 만들지 못했던 개인 프로젝트를 많이 만들어보고 있다. 한 프로젝트의 서브프로젝트로 AWS Lambda를 이용해 그 안에서 Python으로 Playwright를 써야할 일이 있었다. Node.js 생태계에서는 레이어나 Docker 이미지(AWS Lambda는 Lambda 코드와는 상관 없는 라이브러리나 의존 패키지를 관리하기 위해 레이어나 Docker 이미지를 지원하고 있다.)를 통해 Lambda에서도 puppeteer나 playwright를 쓸 수 있는 환경이 쉽게 마련되어있다. 그래서 나는 pyppeteer나 playwright의 Python 버전에서도 당연히 쓸 수 있을만한 환경이 되어있을 것이라고 순진하게 믿었다.
Zappa를 쓰면 Python에서도 쉽게 Lambda 애플리케이션을 배포할 수 있고, 기존 Flask나 Django 애플리케이션도 Lambda 환경에서 이용할 수 있다. Zappa는 Layer와 Docker Image를 지원하기 때문에 걱정하지 않고 로컬에서 먼저 로직을 구현했었다. 하지만 실제로 playwright나 pyppeteer를 Lambda에서 쓰는 것은 쉽지 않았다. 프로젝트가 하나 있었지만 XVFB를 백그라운드에 실행시킨 채 웹킷을 띄우는 형태였고 그마저도 잘 되지 않았다. Python에서 Headless Chrome을 쓰는 것은 오직 (나에게 익숙하지 않은) Selenium으로의 회귀 밖에 없었다.
그러면 기존 Node.js 프로젝트에서 어떻게 Headless Chrome을 Lambda에서 돌리는지 이해하면서 소위 그것을 따라하는 ‘삽질’을 반복해보는 수 밖에 없었다.
이번 글에서는 레이어를 이용해 .tar.br 형태의 tarball brotli 압축 파일을 이용해서 런타임에서 크로미움의 압축을 풀고 실행하는 것이 아닌, Docker Image를 통해 컨테이너 안에 serverless-chrome의 미리 빌드된 Headless Chromium 바이너리를 잘 쓰는걸 주로 설명한다.
serverless-chrome 바이너리를 Docker 이미지에 넣자!
바이너리를 받는 쉘 스크립트를 만들기
https://medium.com/media/86a561886a6d3c933a08d884fe09f4fb/href
우선 Dockerfile로 이미지를 빌드할 때, 이미지 안에 serverless-chrome의 바이너리를 넣기 위해 쓸 쉘 스크립트를 만들었다. 물론 Dockerfile 안에 RUN 커맨드로 넣어도 상관없다. 이 방식대로 따라하면 현재 디렉토리 밑으로 bin/이라는 폴더가 생길 것이고, 그 안에 headless-chromium이라는 파일이 생길 것이다. 우리는 이 바이너리를 Docker 이미지 안에 넣어서 Python 코드로 조작하면 되는 것이다.
Zappa에서 사용 가능한 Dockerfile 만들기
Zappa가 Docker를 지원하면서 문서에 이 기능에 대해서는 이 글을 보라고 링크까지 걸었다. 나는 Zappa가 Poetry와 호환되는 것을 모르고, 메인 프로젝트는 Poetry를 썼지만 이 Lambda 프로젝트는 Poetry를 쓰지 않고 virtualenv를 이용했다. (당연히 Poetry가 더 편하고 괜찮아서, 나는 추후엔 Poetry로 옮기는 것을 목표로 하고 있다.)
지금 virtualenv 환경에 맞게 만든 내 예시 Dockerfile은 다음과 같다.
https://medium.com/media/7e4491cfd84b5ee3ec7b960d72e24b78/href
오히려 많은 사람들이 과정이 정말 별게 없어서 놀랄 것이다. 우리는 위에서 받은 바이너리와 의존 라이브러리, 내 코드가 미리 들어간 이미지를 만드는게 목표였기 때문에 어렵지 않게 구현할 수 있다.
Python Playwright에서 headless-chromium 바이너리 조작하기
https://medium.com/media/1d62d910e2bd9ac0a950c54a27cb0800/href
거의 다 따라온 것 같다. 여기 예제 코드를 넣어놓았다. 제일 중요한 부분은 로컬에서 실행할 때랑 Docker 안에서 실행할 때, 브라우저 바이너리의 위치와 실행 옵션을 바꿔야하는 것이다. 환경 변수를 이용해 미리 이것이 Docker로 실행하는 것인지 로컬에서 실행하는 것인지 파악하게 만든 후, 실행 옵션과 크로미움 위치를 이렇게 바꾸면 된다.
실행 옵션은 이 코드와 이 이슈를 참고했다. 중요한 옵션이 많다. 옵션을 조금씩 바꾸거나 추가할 수 있겠지만 필요한 옵션이 빠질 경우, Lambda에서 실행이 안된다! 이것을 잘못 넣어 몇번을 재배포했는지 모르겠다. 여러분은 나와 같은 실수를 반복하지 않길 바란다.
참고로 playwright-stealth는 Node.js 환경에도 같은 기능의 프로젝트가 있는데, Headless Browser인지 탐지하기 어렵게 만드는 라이브러리다. 꼭 사용하는 것을 추천한다.
빌드와 배포
https://medium.com/media/0a6ddca39ed67a10f98452bbb9e5629a/href
과정이 너무 단순해서 허무할지도 모르겠다. 이것만 하면 잘 돌아가는 것을 확인할 수 있다. 배포가 되면 zappa invoke 커맨드나 API를 호출해서 테스트해볼 수 있다. 혹시 모르니 아래에 샘플 zappa_settings.json을 같이 넣어드린다.
1. Dockerfile로 이미지를 빌드하고, 태깅한 다음에 ECR에 배포한다.
2. ECR 주소를 옵션으로 Zappa를 배포한다.
https://medium.com/media/edbc6850bbdb7278ddba114efabc2254/href
결론
serverless-chrome 프로젝트는 비단 Node.js 뿐만 아니라, 여기서 빌드된 크로미움을 잘 이용하면 언어에 상관없이 AWS Lambda에서 브라우저를 다룰 수 있다. 이를 활용하는 방법이 어렵지 않으니 시도해볼 수 있다고 생각된다.
Zappa와 함께 Lambda에서 Playwright를 써보자! was originally published in Realignist’s LifeLog on Medium, where people are continuing the conversation by highlighting and responding to this story.

Zappa와 함께 Lambda에서 Playwright를 써보자!

댓글