<div id="readability-page-1" class="page"><div><p id="33dc">이글은 open api 의 가이드 문서를 따라 fine-tuning 모델을 만들어 보면서 정리한 것이다. <a href="https://platform.openai.com/docs/guides/fine-tuning" rel="noopener ugc nofollow" target="_blank">영문 가이드에 더 자세한 내용</a>이 나와있다. CLI를 사용하여 설명한다. (<a href="https://help.landbot.io/article/pfgnzf593y-fine-tune-gpt-3-with-postman" rel="noopener ugc nofollow" target="_blank">포스트맨으로 만드는 방법을 설명하는 글</a>도 있다.)</p><figure></figure><h2 id="a068">파인튜닝을 하면 좋은 것</h2><ul><li id="4871">프롬프트 디자인보다 더 높은 품질의 결과를 얻을 수 있다.</li><li id="1c6a">프롬프트에 넣을 수 있는 것보다 더 많은 예제를 학습할 수 있다.</li><li id="4bd2">더 짧은 프롬프트로 인한 토큰 절약이 가능하다.</li><li id="d5c8">요청 지연 시간을 단축할 수 있다.</li></ul><p id="b1ff">미리 준비된 데이터를 학습시켜 단발성 학습(few-shot learning)을 개선시킨다. 프롬프트에 예제를 제공할 필요가 없기때문에 비용이 절감되고 지연시간이 짧은 요청이 가능해진다.</p><p id="2f66">학습을 추가할때, 처음부터 다시 시작할 필요 없이 학습된 모델에 추가 학습가능하다.</p><h2 id="4438">파인튜닝이 가능한 베이스 모델</h2><p id="d472">현재는 GPT-3 모델 중 davinci, curie, babbage, ada 4가지가 가능하다. 각 모델의 특성은 아래와 같다.</p><ul><li id="67a6">davinci: 가장 성능이 뛰어난 GPT-3 모델. 다른 모델이 할 수 있는 모든 작업을 더 높은 품질로 수행할 수 있다.</li><li id="1bcd">curie: 성능이 매우 뛰어나지만 다빈치보다 빠르고 비용이 저렴하다.</li><li id="6241">babbage: 간단한 작업을 매우 빠르게 처리할 수 있으며 비용도 저렴하다.</li><li id="4745">ada: 매우 간단한 작업을 수행할 수 있으며 일반적으로 GPT-3 시리즈 중 가장 빠른 모델이며 비용이 가장 저렴하다.</li></ul><h2 id="9b87">훈련데이터 준비하기</h2><p id="1b2b">아래와 같은 형식으로 작성한다.</p><pre><span id="f227"># my-train.json<br>{"prompt": "What is the name of the company?", "completion": "Landbot"}<br>{"prompt": "What are your hours", "completion": "9am-6pm CET"}</span></pre><p id="d922">훈련데이터 가이드라인은 다음과 같다.</p><ul><li id="11ae">각 prompt는 prompt가 끝나고 완료가 시작될 때 모델에 알리기 위해 고정된 구분 기호로 끝나야 한다. 일반적으로 잘 작동하는 간단한 구분 기호는 \n\n###\n\n이다. 구분기호가 다른 용도로 여러곳에 사용되어서는 안된다.</li><li id="8ec9">단어를 토큰화 해야하기 때문에 completion은 공백으로 시작해야 한다.</li><li id="ffa9">각 completion은 끝날때 모델에게 알리기 위해 중지 시퀀스로 끝나야 한다. 다른 곳에 사용하지 않는 고유한 토큰을 사용하면 된다. 예를들면 ###</li><li id="95d6">추론의 경우, 동일한 구분 기호를 포함하여 학습 데이터 세트를 만들 때와 동일한 방식으로 prompt의 형식을 지정해야 한다. 또한 completion을 올바르게 잘라내려면 동일한 중지 시퀀스를 지정해야 한다.</li></ul><p id="12c4">요렇게 적당히 작성한 후 prepare_data 명령어로 변환을 한다.</p><pre><span id="c21b">openai tools fine_tunes.prepare_data -f my-train.json</span></pre><p id="461f">CLI를 통해 몇 가지 옵션을 선택하라고 하는데, 선택 하면 아래와 같은 식의 파일이 생성된다. 구분기호는 \n\n@@@\n\n로 해보았고 중지 시퀀스는 ###으로 설정했다.</p><pre><span id="e98b"># my-train_prepared.jsonl<br>{"prompt": "What is the name of the company? \n\n@@@\n\n", "completion": " Landbot  ###"}<br>{"prompt": "What are your hours \n\n@@@\n\n", "completion": " 9am-6pm CET  ###"}</span></pre><h2 id="e7f8">모델 생성</h2><pre><span id="3219">openai api fine_tunes.create -t &lt;TRAIN_FILE_ID_OR_PATH&gt; -m &lt;BASE_MODEL&gt;</span></pre><ul><li id="e1a4">TRAIN_FILE_ID_OR_PATH: 로컬의 훈련 파일 이름. 업로드한 파일을 사용할 경우 파일 아이디.</li><li id="159c">BASE_MODEL: 베이스가 될 모델. davinci, curie, babbage, ada 중 선택.</li></ul><p id="50bd">예를 들면 아래와 같이 적을 수 있겠다.</p><pre><span id="902e">openai api fine_tunes.create -t my-train_prepared.jsonl -m curie</span></pre><p id="e11e">모델 생성에는 시간이 꽤 걸린다. 데이터가 많을 수록 더 많이 걸릴것이다. 로컬 파일을 사용한 경우 자동으로 파일이 업로드된다. 이후에 같은 파일로 모델을 생성할 때는 업로드된 파일의 아이디를 적으면 시간이 단축될 수 있다.(<a href="https://platform.openai.com/docs/api-reference/files/list" rel="noopener ugc nofollow" target="_blank">파일관리는 이 문서 참고</a>)</p><p id="4c77">모델 아이디를 통해 진행상태를 팔로우할 수 있다.</p><pre><span id="18b9">❯ openai api fine_tunes.follow -i ft-gdIbA4bQdK9YLlEDmCJz95ke<br>[2023-04-05 23:03:58] Created fine-tune: ft-gdIbA4bQdK9YLlEDmCJz95ke<br>[2023-04-05 23:07:08] Fine-tune costs $0.03<br>[2023-04-05 23:07:09] Fine-tune enqueued. Queue number: 3<br>[2023-04-05 23:07:36] Fine-tune is in the queue. Queue number: 2</span></pre><p id="c155">모델 아이디는 모델 리스트를 출력해보면 알 수 있다.</p><pre><span id="3c5b">openai api fine_tunes.list</span></pre><p id="152d">이 명령의 결과에서 <code>id</code>가 모델 아이디이다.</p><h2 id="3e2b">모델 사용하기</h2><p id="3e94">마지막으로 모델을 사용할 차례이다. cli로도 가능한데, 원하는 옵션들이 있는데 그것들을 정확히 어떻게 사용하는지 확인이 잘 안되서 curl 방식으로 가이드를 만들어 보았다.</p><pre><span id="1de5">curl https://api.openai.com/v1/completions \<br>  -H "Authorization: Bearer $OPENAI_API_KEY" \<br>  -H "Content-Type: application/json" \<br>  -d '{"prompt": YOUR_PROMPT, "model": FINE_TUNED_MODEL}'</span></pre><ul><li id="740c">FINE_TUNED_MODEL : 생성한 모델의 이름. 위 모델 리스트에서 fine_tuned_model 을 넣으면 된다.</li><li id="0905">YOUR_PROMPT : 프롬프트를 넣는다.</li></ul><p id="d23a">예컨대 이런식이 될 것이다.</p><pre><span id="1114">curl https://api.openai.com/v1/completions \<br>  -H "Authorization: Bearer $OPENAI_API_KEY" \<br>  -H "Content-Type: application/json" \<br>  -d '{"prompt": "What are your hours \n\n@@@\n\n", "model": "ft-personal-2023-04-05-00-00-00", "max_tokens": 500, "stop": "###"}'</span></pre><p id="641a">위에 데이터 만들때 prompt구분자로 썼던 구분기호 \n\n@@@\n\n\를 동일하게 prompt에 넣어야 한다. 더불어 stop 옵션에는 completion에 넣었던 중지 시퀀스를 넣어야 한다.</p><h2 id="bd85">정리</h2><p id="a1fc">실제 데이터를 던져서 모델을 만드는것 자체는 매우 간단하다고 볼 수 있다. 항상 그렇지만, 좋은 결과를 얻으려면 데이터를 어떻게 잘 만드는지가 중요하다.</p><p id="0a80">그리고 아직까지 gpt 파인튜닝은 GPT3 버전의 모델만 베이스 모델로 지정할 수 있기 때문에 현재 우리가 사용하는 모델보다는 성능이 떨어질 수 있음을 감안해야 한다. 때문에 한글보다는 영문으로 작성하는것이 결과가 좋을 수 있다.</p><p id="9d56"><a href="https://platform.openai.com/docs/guides/fine-tuning" rel="noopener ugc nofollow" target="_blank">영문 가이드에 더 자세한 내용</a>이 나와있다.</p></div></div>

Stories by Jeong Woo Ahn on Medium

Jeongwoo Ahn

이글은 open api 의 가이드 문서를 따라 fine-tuning 모델을 만들어 보면서 정리한 것이다. 영문 가이드에 더 자세한 내용이 나와있다. CLI를 사용하여 설명한다. (포스트맨으로 만드는 방법을 설명하는 글도 있다.)
파인튜닝을 하면 좋은 것
프롬프트 디자인보다 더 높은 품질의 결과를 얻을 수 있다.
프롬프트에 넣을 수 있는 것보다 더 많은 예제를 학습할 수 있다.
더 짧은 프롬프트로 인한 토큰 절약이 가능하다.
요청 지연 시간을 단축할 수 있다.
미리 준비된 데이터를 학습시켜 단발성 학습(few-shot learning)을 개선시킨다. 프롬프트에 예제를 제공할 필요가 없기때문에 비용이 절감되고 지연시간이 짧은 요청이 가능해진다.
학습을 추가할때, 처음부터 다시 시작할 필요 없이 학습된 모델에 추가 학습가능하다.
파인튜닝이 가능한 베이스 모델
현재는 GPT-3 모델 중 davinci, curie, babbage, ada 4가지가 가능하다. 각 모델의 특성은 아래와 같다.
davinci: 가장 성능이 뛰어난 GPT-3 모델. 다른 모델이 할 수 있는 모든 작업을 더 높은 품질로 수행할 수 있다.
curie: 성능이 매우 뛰어나지만 다빈치보다 빠르고 비용이 저렴하다.
babbage: 간단한 작업을 매우 빠르게 처리할 수 있으며 비용도 저렴하다.
ada: 매우 간단한 작업을 수행할 수 있으며 일반적으로 GPT-3 시리즈 중 가장 빠른 모델이며 비용이 가장 저렴하다.
훈련데이터 준비하기
아래와 같은 형식으로 작성한다.
# my-train.json
{"prompt": "What is the name of the company?", "completion": "Landbot"}
{"prompt": "What are your hours", "completion": "9am-6pm CET"}
훈련데이터 가이드라인은 다음과 같다.
각 prompt는 prompt가 끝나고 완료가 시작될 때 모델에 알리기 위해 고정된 구분 기호로 끝나야 한다. 일반적으로 잘 작동하는 간단한 구분 기호는 \n\n###\n\n이다. 구분기호가 다른 용도로 여러곳에 사용되어서는 안된다.
단어를 토큰화 해야하기 때문에 completion은 공백으로 시작해야 한다.
각 completion은 끝날때 모델에게 알리기 위해 중지 시퀀스로 끝나야 한다. 다른 곳에 사용하지 않는 고유한 토큰을 사용하면 된다. 예를들면 ###
추론의 경우, 동일한 구분 기호를 포함하여 학습 데이터 세트를 만들 때와 동일한 방식으로 prompt의 형식을 지정해야 한다. 또한 completion을 올바르게 잘라내려면 동일한 중지 시퀀스를 지정해야 한다.
요렇게 적당히 작성한 후 prepare_data 명령어로 변환을 한다.
openai tools fine_tunes.prepare_data -f my-train.json
CLI를 통해 몇 가지 옵션을 선택하라고 하는데, 선택 하면 아래와 같은 식의 파일이 생성된다. 구분기호는 \n\n@@@\n\n로 해보았고 중지 시퀀스는 ###으로 설정했다.
# my-train_prepared.jsonl
{"prompt": "What is the name of the company? \n\n@@@\n\n", "completion": " Landbot  ###"}
{"prompt": "What are your hours \n\n@@@\n\n", "completion": " 9am-6pm CET  ###"}
모델 생성
openai api fine_tunes.create -t <TRAIN_FILE_ID_OR_PATH> -m <BASE_MODEL>
TRAIN_FILE_ID_OR_PATH: 로컬의 훈련 파일 이름. 업로드한 파일을 사용할 경우 파일 아이디.
BASE_MODEL: 베이스가 될 모델. davinci, curie, babbage, ada 중 선택.
예를 들면 아래와 같이 적을 수 있겠다.
openai api fine_tunes.create -t my-train_prepared.jsonl -m curie
모델 생성에는 시간이 꽤 걸린다. 데이터가 많을 수록 더 많이 걸릴것이다. 로컬 파일을 사용한 경우 자동으로 파일이 업로드된다. 이후에 같은 파일로 모델을 생성할 때는 업로드된 파일의 아이디를 적으면 시간이 단축될 수 있다.(파일관리는 이 문서 참고)
모델 아이디를 통해 진행상태를 팔로우할 수 있다.
❯ openai api fine_tunes.follow -i ft-gdIbA4bQdK9YLlEDmCJz95ke
[2023-04-05 23:03:58] Created fine-tune: ft-gdIbA4bQdK9YLlEDmCJz95ke
[2023-04-05 23:07:08] Fine-tune costs $0.03
[2023-04-05 23:07:09] Fine-tune enqueued. Queue number: 3
[2023-04-05 23:07:36] Fine-tune is in the queue. Queue number: 2
모델 아이디는 모델 리스트를 출력해보면 알 수 있다.
openai api fine_tunes.list
이 명령의 결과에서 id가 모델 아이디이다.
모델 사용하기
마지막으로 모델을 사용할 차례이다. cli로도 가능한데, 원하는 옵션들이 있는데 그것들을 정확히 어떻게 사용하는지 확인이 잘 안되서 curl 방식으로 가이드를 만들어 보았다.
curl https://api.openai.com/v1/completions \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"prompt": YOUR_PROMPT, "model": FINE_TUNED_MODEL}'
FINE_TUNED_MODEL : 생성한 모델의 이름. 위 모델 리스트에서 fine_tuned_model 을 넣으면 된다.
YOUR_PROMPT : 프롬프트를 넣는다.
예컨대 이런식이 될 것이다.
curl https://api.openai.com/v1/completions \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"prompt": "What are your hours \n\n@@@\n\n", "model": "ft-personal-2023-04-05-00-00-00", "max_tokens": 500, "stop": "###"}'
위에 데이터 만들때 prompt구분자로 썼던 구분기호 \n\n@@@\n\n\를 동일하게 prompt에 넣어야 한다. 더불어 stop 옵션에는 completion에 넣었던 중지 시퀀스를 넣어야 한다.
정리
실제 데이터를 던져서 모델을 만드는것 자체는 매우 간단하다고 볼 수 있다. 항상 그렇지만, 좋은 결과를 얻으려면 데이터를 어떻게 잘 만드는지가 중요하다.
그리고 아직까지 gpt 파인튜닝은 GPT3 버전의 모델만 베이스 모델로 지정할 수 있기 때문에 현재 우리가 사용하는 모델보다는 성능이 떨어질 수 있음을 감안해야 한다. 때문에 한글보다는 영문으로 작성하는것이 결과가 좋을 수 있다.
영문 가이드에 더 자세한 내용이 나와있다.
이 글이 마음에 드셨다면 👏🏽👏🏽와 커피한잔 후원하기 (카카오페이), 이메일로 소식을 받아보고 싶으시다면 ✉️ 이메일 구독하기 해주세요.

GPT-3 파인튜닝 fine-tuning 가이드

댓글