<div id="readability-page-1" class="page"><div>
 <a href="/m/category/Data%20Engineering%20%20%EB%B0%8F%20Infra">Data Engineering 및 Infra</a><h3>Python FastAPI 및 Docker를 활용해 pytorch deep learning 모델 배포하기</h3>
 </div><cite>이수진의 블로그</cite>
 2023. 7. 24. 08:12
 <div>
 <h2 data-ke-size="size26">포스팅 개요</h2>
본 포스팅은 Python FastAPI에 대해서 정리하는 FastAPI 시리즈 포스팅 중 여섯 번째 글인 FastAPI 및 Docker를 활용해 pytorch 딥러닝(deep learning) 모델 배포하기 (deploy pytorch model using docker, fastapi) 글입니다.
FastAPI 포스팅은 아래와 같은 순서로 정리되어 있고, 정리할 예정입니다.

<ol data-ke-list-type="decimal">
<li>Python FastAPI 시작하기 - FastAPI란? 설치 방법과 기본 예제(FastAPI example) (<a href="https://lsjsj92.tistory.com/648">https://lsjsj92.tistory.com/648</a>)</li>
<li>FastAPI post 간단 예제와 비동기(Asynchronous) async 함수에 대해서 (<a href="https://lsjsj92.tistory.com/649">https://lsjsj92.tistory.com/649</a>)</li>
<li>Python pydantic이란? Python에서 데이터 검증과 설정을 관리해보자(Feat. FastAPI) (<a href="https://lsjsj92.tistory.com/650">https://lsjsj92.tistory.com/650</a>)</li>
<li>FastAPI router란? router 사용법과 예제(fastapi router example) (<a href="https://lsjsj92.tistory.com/651">https://lsjsj92.tistory.com/651</a>)</li>
<li>Pytorch 딥러닝(deep learning) 모델과 FastAPI를 활용한 FastAPI 예제(example) (<a href="https://lsjsj92.tistory.com/652" target="_blank" rel="noopener">https://lsjsj92.tistory.com/652</a>)</li>
<li>Docker와 FastAPI를 활용해 pytorch 딥러닝 모델 배포하기(deploy pytorch model using docker, fastapi) (본 포스팅)</li>
</ol>

해당 포스팅을 작성하면서 제가 참고한 글과 데이터는 다음과 같습니다.&nbsp;
<ul data-ke-list-type="disc">
<li><a href="https://fastapi.tiangolo.com/">https://fastapi.tiangolo.com/</a>&nbsp;&nbsp;</li>
<li><a href="https://github.com/tiangolo/fastapi">https://github.com/tiangolo/fastapi</a></li>
<li><a href="https://grouplens.org/datasets/movielens/1m/">https://grouplens.org/datasets/movielens/1m/</a></li>
</ul>
본 글에서 작성하는 모든 코드는 아래 github repository에 올려두었습니다.
<ul data-ke-list-type="disc">
<li><a href="https://github.com/lsjsj92/Fast_API">https://github.com/lsjsj92/Fast_API</a></li>
</ul>
<figure id="og_1674555410174" contenteditable="false" data-ke-type="opengraph" data-ke-align="alignCenter" data-og-type="object" data-og-title="GitHub - lsjsj92/Fast_API: fast api with machine learning" data-og-description="fast api with machine learning. Contribute to lsjsj92/Fast_API development by creating an account on GitHub." data-og-host="github.com" data-og-source-url="https://github.com/lsjsj92/Fast_API" data-og-url="https://github.com/lsjsj92/Fast_API" data-og-image="https://scrap.kakaocdn.net/dn/h5rW9/hyRm2LdGKd/7zIq1rTt7zpuwXjSjl1YV1/img.png?width=1200&amp;height=600&amp;face=0_0_1200_600"><a href="https://github.com/lsjsj92/Fast_API" data-source-url="https://github.com/lsjsj92/Fast_API">

<div>
GitHub - lsjsj92/Fast_API: fast api with machine learning
fast api with machine learning. Contribute to lsjsj92/Fast_API development by creating an account on GitHub.
github.com
</div>
</a><img src="https://scrap.kakaocdn.net/dn/h5rW9/hyRm2LdGKd/7zIq1rTt7zpuwXjSjl1YV1/img.png?width=1200&amp;height=600&amp;face=0_0_1200_600"></figure>
<hr contenteditable="false" data-ke-type="horizontalRule" data-ke-style="style6">
<h2 data-ke-size="size26">포스팅 본문</h2>
본 포스팅은 이전 포스팅에서 작성한 Pytorch 기반의 딥러닝 모델을 Python FastAPI를 활용해 배포한 간단한&nbsp;MLOps 과정(<a href="https://lsjsj92.tistory.com/652" target="_blank" rel="noopener">https://lsjsj92.tistory.com/652</a>) 이후 두 번째 글입니다. 본 포스팅에서는 이전에 배포한 FastAPI 환경을 Docker를 활용해서 image화 하고 이 docker 환경을 실행함으로써 API 배포를 진행하도록 하겠습니다.

본 글을 읽기 위해서는 앞선 포스팅을 꼭! 먼저 보셔야 합니다.
<hr contenteditable="false" data-ke-type="horizontalRule" data-ke-style="style8">
<h3 data-ke-size="size23">Dockerfile 생성 및 Docker image 생성</h3>
Docker로 코드를 말아 배포하기 위해 Dockerfile을 생성합니다. Dockerfile 내용은 다음과 같이 구성하였습니다.

<pre id="code_1674557375205" data-ke-language="python" data-ke-type="codeblock"><code># Base image
FROM python:3.8

# Install pytorch
RUN pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cpu

# Set working directory
WORKDIR /fastapi

# Install python lib
COPY requirements.txt ./requirements.txt
RUN pip3 install -r requirements.txt

# Copy files
COPY ./models /fastapi/models
COPY ./main.py /fastapi/
COPY ./packages /fastapi/packages
COPY ./example/train_model /fastapi/example/train_model

CMD ["python", "main.py", "--host", "0.0.0.0", "--port", "8088"]</code></pre>
Dockerfile 내용은 간단합니다. 먼저, 제 환경이랑 똑같이 Python3.8을 구성하도록 했습니다.
이후에 pytorch를 먼저 설치해주는 명령어를 실행시켰습니다. 그리고 working directory를 구성하고 requirements.txt 파일을 기반으로 라이브러리들을 설치합니다.

지난 포스팅에서 작성한 제 전체 project 디렉토리는 다음과 같았습니다.
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-01-24 오후 4.40.20.png" data-origin-width="225" data-origin-height="486">
 
 <img src="https://blog.kakaocdn.net/dn/3tFuX/btrWR821YA9/EHaRXeL716DIkvhnFiWXc0/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-01-24 오후 4.40.20.png" data-origin-width="225" data-origin-height="486">
 
 
</figure>
여기 중에서 실제 배포 및 구현에 필요한 코드는 다음과 같습니다.&nbsp;
<ul data-ke-list-type="disc">
<li>models/&nbsp; : pytorch로 훈련된 추천 시스템 ( recommender system ) 모델이 pickle 형태로 저장되어 있습니다.</li>
<li>main.py : FastAPI를 실행하는 본체입니다.</li>
<li>packages/ : FastAPI를 실행하는데 필요한 각종 패키지들이 들어가 있습니다.</li>
<li>examples/train_model : 파이토치(pytorch)로 구성한 모델 구현체 class가 여기에 있기 때문입니다.</li>
</ul>
따라서, Dockerfile에는 필요한 file만 복사하도록 했습니다.
마지막은 python main.py --host 0.0.0.0 --port 8088 명령어를 실행하도록 구성하였습니다.
<h3 data-ke-size="size23">Docker image 생성, 실행 및 결과</h3>
1. docker image 생성 

이제 만들어준 dockerfile을 기반으로 docker image를 만들겠습니다. 아래와 같은 명령어로 간단하게 docker iamge를 생성할 수 있습니다.&nbsp;
<pre id="code_1674557901171" data-ke-language="python" data-ke-type="codeblock"><code>docker build -t lsjsj92_fastapi:0.1 -f Dockerfile .</code></pre>
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-01-22 오후 3.04.04.png" data-origin-width="2384" data-origin-height="872">
 
 <img src="https://blog.kakaocdn.net/dn/OWaIX/btrWYNJ7sFE/8LfvvSdm5Bi40dKdS7vOxk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-01-22 오후 3.04.04.png" data-origin-width="2384" data-origin-height="872">
 
 
</figure>


저는 docker image 이름을 lsjsj92_fastapi로 지정했고 tag는 0.1로 지정했습니다.
위 명령어를 실행하면 Dockerfile을 기반으로 image를 생성해줍니다.
간단한게 docker images 명령어를 입력하면
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-01-22 오후 3.04.24.png" data-origin-width="1422" data-origin-height="230">
 
 <img src="https://blog.kakaocdn.net/dn/MViq6/btrWVK1sSIE/YcRiHnQuM7MAhGwPNsbrN1/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-01-22 오후 3.04.24.png" data-origin-width="1422" data-origin-height="230">
 
 
</figure>
이렇게 생성한 docker image가 나오는 것을 확인할 수 있습니다.

2. docker image 실행하여 FastAPI 결과 확인하기
이제 생성한 이미지를 실행하여 FastAPI 결과를 확인해보겠습니다. 다음과 같은 명령어로 간단하게 실행할 수 있습니다.
<pre id="code_1674558121854" data-ke-language="python" data-ke-type="codeblock"><code>docker run -p 8088:8088 lsjsj92_fastapi:0.1</code></pre>
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-01-22 오후 3.24.43.png" data-origin-width="527" data-origin-height="132">
 
 <img src="https://blog.kakaocdn.net/dn/bgaITF/btrW2txzmH3/KUsJVOboU4tzXh0qbn593K/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-01-22 오후 3.24.43.png" data-origin-width="527" data-origin-height="132">
 
 
</figure>
이렇게 하면 8088 포트를 기준으로 제 local pc와 docker 사이에 통신이 연결되고 FastAPI가 실행됩니다.
localhost(또는 127.0.0.1):8088/docs를 확인해보면
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-01-22 오후 3.25.05.png" data-origin-width="1359" data-origin-height="863">
 
 <img src="https://blog.kakaocdn.net/dn/vtUyg/btrW37175pH/rZBvVZ9AyYWHAYiWkrYCWk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-01-22 오후 3.25.05.png" data-origin-width="1359" data-origin-height="863">
 
 
</figure>
위와 같이 FastAPI가 정상적으로 실행된 것을 확인할 수 있습니다.&nbsp;
또한, post 데이터를 날려봤을 때도
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-01-22 오후 3.25.19.png" data-origin-width="1359" data-origin-height="863">
 
 <img src="https://blog.kakaocdn.net/dn/ngz6T/btrW39ll8eP/bcbFcAsBg1faE1ugvp1Pkk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-01-22 오후 3.25.19.png" data-origin-width="1359" data-origin-height="863">
 
 
</figure>
위 사진과 같이 정상적으로 동작되는 것을 확인할 수 있습니다.

이제 마지막으로 Python requests를 이용해 docker 환경에서 열린 Pytorch 딥러닝 추천 시스템 model 결과를 FastAPI로 가져와보도록 하겠습니다.

<pre id="code_1674558371879" data-ke-language="python" data-ke-type="codeblock"><code>import requests

headers = {
 "Content-type": "application/json",
 "accept": "application/json"
}


url = "http://localhost:8088/ncf/predict"
params={
 'user_id': 201,
 'movie_id' : 100,
 'gender' : 0,
 'age' : 5,
 'occupation' : 8,
 'genre' : 4
}

res = requests.post(url, json=params, headers=headers)

print("status : ", res.status_code)
print(res.json())</code></pre>

<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2023-01-22 오후 3.36.57.png" data-origin-width="628" data-origin-height="119">
 
 <img src="https://blog.kakaocdn.net/dn/bEq012/btrWZVHWGsq/YcrY9qEdLx2PJoxloU5HZK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2023-01-22 오후 3.36.57.png" data-origin-width="628" data-origin-height="119">
 
 
</figure>

위 코드를 실행하면 해당되는 파라미터 값에 따라 추천 시스템(recommender system)의 predict 결과를 FastAPI를 통해서 받아올 수 있습니다.&nbsp;
이렇게 해서 Docker 환경에서 FastAPI를 활용해 pytorch model prediction을 가져오도록 코드를 전부 구성해보았습니다.
<hr contenteditable="false" data-ke-type="horizontalRule" data-ke-style="style6">
<h2 data-ke-size="size26">마무리</h2>
본 포스팅은 Docker를 활용해서 Pytorch 추천 시스템 딥러닝 모델(recommender system deep learning model)을 FastAPI로 배포하는 방법에 대해서 알아보았습니다.
이제 FastAPI 포스팅 시리즈는 마무리 하였습니다. 추후 FastAPI와 관련된 글들은 시리즈 형태가 아닌, 독립된 포스팅으로 다루겠습니다.
긴 글 읽어주셔서 감사합니다.

저에게 연락을 주시고 싶으신 것이 있으시다면
<ul data-ke-list-type="disc">
<li>Linkedin :&nbsp;<a href="https://www.linkedin.com/in/lsjsj92/">https://www.linkedin.com/in/lsjsj92/</a></li>
<li>github :&nbsp;<a href="https://github.com/lsjsj92">https://github.com/lsjsj92</a></li>
<li>블로그 댓글 또는 방명록</li>
</ul>
으로 연락주시면 감사하겠습니다.
 
 
 </div></div>

꿈 많은 사람의 이야기

포스팅 개요
본 포스팅은 Python FastAPI에 대해서 정리하는 FastAPI 시리즈 포스팅 중 여섯 번째 글인 FastAPI 및 Docker를 활용해 pytorch 딥러닝(deep learning) 모델 배포하기 (deploy pytorch model using docker, fastapi) 글입니다.
FastAPI 포스팅은 아래와 같은 순서로 정리되어 있고, 정리할 예정입니다.
 
Python FastAPI 시작하기 - FastAPI란? 설치 방법과 기본 예제(FastAPI example) (https://lsjsj92.tistory.com/648)
FastAPI post 간단 예제와 비동기(Asynchronous) async 함수에 대해서 (https://lsjsj92.tistory.com/649)
Python pydantic이란? Python에서 데이터 검증과 설정을 관리해보자(Feat. FastAPI) (https://lsjsj92.tistory.com/650)
FastAPI router란? router 사용법과 예제(fastapi router example) (https://lsjsj92.tistory.com/651)
Pytorch 딥러닝(deep learning) 모델과 FastAPI를 활용한 FastAPI 예제(example) (https://lsjsj92.tistory.com/652)
Docker와 FastAPI를 활용해 pytorch 딥러닝 모델 배포하기(deploy pytorch model using docker, fastapi) (본 포스팅)
 
해당 포스팅을 작성하면서 제가 참고한 글과 데이터는 다음과 같습니다. 
https://fastapi.tiangolo.com/  
https://github.com/tiangolo/fastapi
https://grouplens.org/datasets/movielens/1m/
본 글에서 작성하는 모든 코드는 아래 github repository에 올려두었습니다.
https://github.com/lsjsj92/Fast_API
포스팅 본문
본 포스팅은 이전 포스팅에서 작성한 Pytorch 기반의 딥러닝 모델을 Python FastAPI를 활용해 배포한 간단한 MLOps 과정(https://lsjsj92.tistory.com/652) 이후 두 번째 글입니다. 본 포스팅에서는 이전에 배포한 FastAPI 환경을 Docker를 활용해서 image화 하고 이 docker 환경을 실행함으로써 API 배포를 진행하도록 하겠습니다.
 
본 글을 읽기 위해서는 앞선 포스팅을 꼭! 먼저 보셔야 합니다.
Dockerfile 생성 및 Docker image 생성
Docker로 코드를 말아 배포하기 위해 Dockerfile을 생성합니다. Dockerfile 내용은 다음과 같이 구성하였습니다.
 
# Base image
FROM python:3.8
# Install pytorch
RUN pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cpu
# Set working directory
WORKDIR /fastapi
# Install python lib
COPY requirements.txt ./requirements.txt
RUN pip3 install -r requirements.txt
# Copy files
COPY ./models /fastapi/models
COPY ./main.py /fastapi/
COPY ./packages /fastapi/packages
COPY ./example/train_model /fastapi/example/train_model
CMD ["python", "main.py", "--host", "0.0.0.0", "--port", "8088"]
Dockerfile 내용은 간단합니다. 먼저, 제 환경이랑 똑같이 Python3.8을 구성하도록 했습니다.
이후에 pytorch를 먼저 설치해주는 명령어를 실행시켰습니다. 그리고 working directory를 구성하고 requirements.txt 파일을 기반으로 라이브러리들을 설치합니다.
 
지난 포스팅에서 작성한 제 전체 project 디렉토리는 다음과 같았습니다.
여기 중에서 실제 배포 및 구현에 필요한 코드는 다음과 같습니다. 
models/  : pytorch로 훈련된 추천 시스템 ( recommender system ) 모델이 pickle 형태로 저장되어 있습니다.
main.py : FastAPI를 실행하는 본체입니다.
packages/ : FastAPI를 실행하는데 필요한 각종 패키지들이 들어가 있습니다.
examples/train_model : 파이토치(pytorch)로 구성한 모델 구현체 class가 여기에 있기 때문입니다.
따라서, Dockerfile에는 필요한 file만 복사하도록 했습니다.
마지막은 python main.py --host 0.0.0.0 --port 8088 명령어를 실행하도록 구성하였습니다.
Docker image 생성, 실행 및 결과
1. docker image 생성 
 
이제 만들어준 dockerfile을 기반으로 docker image를 만들겠습니다. 아래와 같은 명령어로 간단하게 docker iamge를 생성할 수 있습니다. 
docker build -t lsjsj92_fastapi:0.1 -f Dockerfile .
 
저는 docker image 이름을 lsjsj92_fastapi로 지정했고 tag는 0.1로 지정했습니다.
위 명령어를 실행하면 Dockerfile을 기반으로 image를 생성해줍니다.
간단한게 docker images 명령어를 입력하면
이렇게 생성한 docker image가 나오는 것을 확인할 수 있습니다.
 
2. docker image 실행하여 FastAPI 결과 확인하기
이제 생성한 이미지를 실행하여 FastAPI 결과를 확인해보겠습니다. 다음과 같은 명령어로 간단하게 실행할 수 있습니다.
docker run -p 8088:8088 lsjsj92_fastapi:0.1
이렇게 하면 8088 포트를 기준으로 제 local pc와 docker 사이에 통신이 연결되고 FastAPI가 실행됩니다.
localhost(또는 127.0.0.1):8088/docs를 확인해보면
위와 같이 FastAPI가 정상적으로 실행된 것을 확인할 수 있습니다. 
또한, post 데이터를 날려봤을 때도
위 사진과 같이 정상적으로 동작되는 것을 확인할 수 있습니다.
 
이제 마지막으로 Python requests를 이용해 docker 환경에서 열린 Pytorch 딥러닝 추천 시스템 model 결과를 FastAPI로 가져와보도록 하겠습니다.
 
import requests
headers = {
    "Content-type": "application/json",
    "accept": "application/json"
}
url = "http://localhost:8088/ncf/predict"
params={
    'user_id': 201,
    'movie_id' : 100,
    'gender' : 0,
    'age' : 5,
    'occupation' : 8,
    'genre' : 4
}
res = requests.post(url, json=params, headers=headers)
print("status : ", res.status_code)
print(res.json())
 
위 코드를 실행하면 해당되는 파라미터 값에 따라 추천 시스템(recommender system)의 predict 결과를 FastAPI를 통해서 받아올 수 있습니다. 
이렇게 해서 Docker 환경에서 FastAPI를 활용해 pytorch model prediction을 가져오도록 코드를 전부 구성해보았습니다.
마무리
본 포스팅은 Docker를 활용해서 Pytorch 추천 시스템 딥러닝 모델(recommender system deep learning model)을 FastAPI로 배포하는 방법에 대해서 알아보았습니다.
이제 FastAPI 포스팅 시리즈는 마무리 하였습니다. 추후 FastAPI와 관련된 글들은 시리즈 형태가 아닌, 독립된 포스팅으로 다루겠습니다.
긴 글 읽어주셔서 감사합니다.
 
저에게 연락을 주시고 싶으신 것이 있으시다면
Linkedin : https://www.linkedin.com/in/lsjsj92/
github : https://github.com/lsjsj92
블로그 댓글 또는 방명록
으로 연락주시면 감사하겠습니다.