<div id="readability-page-1" class="page"><div>
												
<h2>기본 모델 학습 (Pretraining)</h2>
<p>인터넷, 책, 논문 등의 대량 텍스트 데이터를 사용해 지도학습(Supervised Learning)과 자기지도학습(Self-Supervised Learning) 을 수행합니다.</p>
<p>이 과정에서 모델은 단어, 문장, 문맥을 학습하고 기본적인 언어 능력을 갖추게 됩니다.</p>
<p>CLM 학습 참조</p>
<h2>지도 미세조정 (Supervised Fine-tuning, SFT)</h2>
<p>사람이 직접 라벨링한 데이터를 사용해 모델을 지도학습합니다.</p>
<p>예를 들어, 질문에 대한 적절한 답변을 사람이 작성하고 이를 모델이 학습하는 방식입니다.</p>
<p>질문과 답변을 모두 사람이 작성</p>
<h2>보상 모델 학습 (Reward Model Training)</h2>
<p>다수의 답변 후보를 생성한 후, 사람이 답변의 품질을 비교 평가합니다.</p>
<p>이 평가 데이터를 기반으로 보상 모델(Reward Model, RM)을 학습합니다.</p>
<p>보상 모델은 "어떤 답변이 더 좋은지"를 예측하는 역할을 합니다.</p>
<ul>
<li>
<p>사람 또는 인공지능이 질문을 생성, 사람이 품질 측정 (0.0 ~ 1.0 으로 점수 부여)</p>
</li>
<li>
<p>질문+답변+품질을 이용해 보상모델 학습</p>
<p>"질문+답변" 이 보상 모델의 입력이 되고, "품질" 이 출력이 되어, 모델을 학습</p>
</li>
</ul>
<h2>강화학습 단계 (Reinforcement Learning, RLHF)</h2>
<p>보상 모델을 활용해 라벨링을 자동화하고, 모델을 강화학습합니다.</p>
<p>대표적인 방법이 Proximal Policy Optimization (PPO) 입니다.</p>
<p>모델이 여러 개의 답변을 생성하면 보상 모델이 점수를 매기고, 이 점수를 기반으로 모델이 더 나은 답변을 생성하도록 업데이트합니다.</p>
<p>PPO 는 아래에서 별도 설명</p>
<h2>추가 미세조정 및 평가 (Fine-tuning &amp; Evaluation)</h2>
<p>사람이 직접 라벨링한 데이터를 사용해 다시 모델을 지도학습할 수도 있습니다.</p>
<p>이후, 사람이 질문을 입력해 답변을 평가합니다.</p>
<h2>PPO (Proximal Policy Optimization)</h2>
<p>LLM 강화학습에서 PPO 방식의 경우 정책 자체가 LLM (모델) 입니다.</p>
<h3>현재 정책으로 데이터 수집</h3>
<ul>
<li>
<p>LLM이 다양한 프롬프트에 대해 응답을 생성</p>
</li>
<li>
<p>각 응답에 대해 보상 모델이 점수 부여</p>
</li>
<li>
<p>(state, action, reward) 형태의 데이터 수집</p>
<p>state: 질문, action: 답변, reward: 보상</p>
</li>
</ul>
<h3>정책 업데이트</h3>
<h4>이전 정책에 질문입력 및 답변 출력</h4>
<h4>현재 정책에 질문입력 및 답변 출력</h4>
<h4>보상 모델로 보상 계산</h4>
<p>이전 정책(π_old)과 현재 정책(π_theta)이 생성한 답변 각각에 대해 보상 계산</p>
<h4>확률 비율 계산</h4>
<p>이전 정책과 현재 정책의 확률 분포를 비교<br>
현재 정책이 특정 답변을 생성할 확률을 이전 정책의 확률로 나눕니다.</p>
<p><code>ratio = π_theta(action|state) / π_old(action|state)</code></p>
<p>이 비율은 두 정책이 얼마나 다른 행동을 하는지 측정합니다.<br>
비율이 1에 가까울수록 두 정책이 비슷하다는 의미입니다.</p>
<h4>어드밴티지(Advantage) 계산</h4>
<p>실제로 받은 보상과 예상했던 보상의 차이를 계산합니다</p>
<p><code>Advantage = 실제 보상 - 예상 보상(Value)</code></p>
<p>양수면 예상보다 좋은 결과, 음수면 예상보다 나쁜 결과</p>
<h4>클리핑을 통한 안정화</h4>
<p>업데이트 범위 제한<br>
확률 비율이 너무 크게 변하는 것을 방지합니다<br>
일반적으로 [1-ε, 1+ε] 범위로 제한 (ε은 보통 0.2)</p>
<p>클리핑된 목적 함수:</p>
<p><code>min(ratio × advantage, clip(ratio, 1-ε, 1+ε) × advantage)</code></p>
<p>이를 통해 급격한 정책 변화를 방지하고 학습을 안정화합니다</p>
<h4>정책 및 가치 함수 업데이트</h4>
<p>클리핑된 목적 함수와 어드밴티지를 사용하여 정책 네트워크 업데이트<br>
가치 함수도 함께 업데이트하여 더 정확한 보상 예측<br>
일반적으로 여러 번의 미니배치 업데이트 수행<br>
엔트로피 보너스를 추가하여 적절한 탐색 보장</p>
<h3>정책 업데이트 완료</h3>
<p>학습이 끝나면 정책 자체가 학습된 모델이 됩니다.</p>
<h2>GRPO (Group Relative Policy Optimization)</h2>
<p>DeepSeek 에 적용된 강화학습 방식입니다.</p>
<p><a href="https://www.skyer9.pe.kr/wordpress/wp-content/uploads/2025/02/2025-02-14-01.png"><img decoding="async" src="https://www.skyer9.pe.kr/wordpress/wp-content/uploads/2025/02/2025-02-14-01.png" alt=""></a></p>
<p><del>Value 모델을 제거하고, 보상모델을 매우 단순화했습니다.</del></p>
<p>다 필요없다. 라이브러리가 나왔다.</p>
<pre><code># https://huggingface.co/docs/trl/main/en/grpo_trainer

# pip install trl

from datasets import load_dataset
from trl import GRPOConfig, GRPOTrainer

dataset = load_dataset("trl-lib/tldr", split="train")

# Define the reward function, which rewards completions that are close to 20 characters
def reward_len(completions, **kwargs):
    return [-abs(20 - len(completion)) for completion in completions]

training_args = GRPOConfig(output_dir="Qwen2-0.5B-GRPO", logging_steps=10)
trainer = GRPOTrainer(
    model="Qwen/Qwen2-0.5B-Instruct",
    reward_funcs=reward_len,
    args=training_args,
    train_dataset=dataset,
)
trainer.train()</code></pre>
<p><span></span> <span>Post Views:</span> <span>6</span>
			</p>											</div></div>

상구리의 기술 블로그

LLM(대규모 언어 모델, Large Language Model) 강화학습 과정
기본 모델 학습 (Pretraining)
인터넷, 책, 논문 등의 대량 텍스트 데이터를 사용해 지도학습(Supervised Learning)과 자기지도학습(Self-Supervised Learning) 을 수행합니다.
이 과정에서 모델은 단어, 문장, 문맥을 학습하고 기본적인 언어 능력을 갖추게 됩니다.
CLM 학습 참조
지도 미세조정 (Supervised Fine-tuning, SFT)
사람이 직접 라벨링한 데이터를 사용해 모델을 지도학습합니다.
예를 들어, 질문에 대한 적절한 답변을 사람이 작성하고 이를 모델이 학습하는 방식입니다.
질문과 답변을 모두 사람이 작성
보상 모델 학습 (Reward Model Training)
다수의 답변 후보를 생성한 후, 사람이 답변의 품질을 비교 평가합니다.
이 평가 데이터를 기반으로 보상 모델(Reward Model, RM)을 학습합니다.
보상 모델은 "어떤 답변이 더 좋은지"를 예측하는 역할을 합니다.
사람 또는 인공지능이 질문을 생성, 사람이 품질 측정 (0.0 ~ 1.0 으로 점수 부여)
질문+답변+품질을 이용해 보상모델 학습
"질문+답변" 이 보상 모델의 입력이 되고, "품질" 이 출력이 되어, 모델을 학습
강화학습 단계 (Reinforcement Learning, RLHF)
보상 모델을 활용해 라벨링을 자동화하고, 모델을 강화학습합니다.
대표적인 방법이 Proximal Policy Optimization (PPO) 입니다.
모델이 여러 개의 답변을 생성하면 보상 모델이 점수를 매기고, 이 점수를 기반으로 모델이 더 나은 답변을 생성하도록 업데이트합니다.
PPO 는 아래에서 별도 설명
추가 미세조정 및 평가 (Fine-tuning & Evaluation)
사람이 직접 라벨링한 데이터를 사용해 다시 모델을 지도학습할 수도 있습니다.
이후, 사람이 질문을 입력해 답변을 평가합니다.
PPO (Proximal Policy Optimization)
LLM 강화학습에서 PPO 방식의 경우 정책 자체가 LLM (모델) 입니다.
현재 정책으로 데이터 수집
LLM이 다양한 프롬프트에 대해 응답을 생성
각 응답에 대해 보상 모델이 점수 부여
(state, action, reward) 형태의 데이터 수집
state: 질문, action: 답변, reward: 보상
정책 업데이트
이전 정책에 질문입력 및 답변 출력
현재 정책에 질문입력 및 답변 출력
보상 모델로 보상 계산
이전 정책(π_old)과 현재 정책(π_theta)이 생성한 답변 각각에 대해 보상 계산
확률 비율 계산
이전 정책과 현재 정책의 확률 분포를 비교
ratio = π_theta(action|state) / π_old(action|state)
이 비율은 두 정책이 얼마나 다른 행동을 하는지 측정합니다.
어드밴티지(Advantage) 계산
실제로 받은 보상과 예상했던 보상의 차이를 계산합니다
Advantage = 실제 보상 - 예상 보상(Value)
양수면 예상보다 좋은 결과, 음수면 예상보다 나쁜 결과
클리핑을 통한 안정화
업데이트 범위 제한
클리핑된 목적 함수:
min(ratio × advantage, clip(ratio, 1-ε, 1+ε) × advantage)
이를 통해 급격한 정책 변화를 방지하고 학습을 안정화합니다
정책 및 가치 함수 업데이트
클리핑된 목적 함수와 어드밴티지를 사용하여 정책 네트워크 업데이트
정책 업데이트 완료
학습이 끝나면 정책 자체가 학습된 모델이 됩니다.
GRPO (Group Relative Policy Optimization)
DeepSeek 에 적용된 강화학습 방식입니다.
Value 모델을 제거하고, 보상모델을 매우 단순화했습니다.
다 필요없다. 라이브러리가 나왔다.
# https://huggingface.co/docs/trl/main/en/grpo_trainer
# pip install trl
from datasets import load_dataset
from trl import GRPOConfig, GRPOTrainer
dataset = load_dataset("trl-lib/tldr", split="train")
# Define the reward function, which rewards completions that are close to 20 characters
def reward_len(completions, **kwargs):
    return [-abs(20 - len(completion)) for completion in completions]
training_args = GRPOConfig(output_dir="Qwen2-0.5B-GRPO", logging_steps=10)
trainer = GRPOTrainer(
    model="Qwen/Qwen2-0.5B-Instruct",
    reward_funcs=reward_len,
    args=training_args,
    train_dataset=dataset,
)
trainer.train()

LLM(대규모 언어 모델, Large Language Model) 강화학습 과정

댓글