<div id="readability-page-1" class="page"><article id="post-9952">
				

							<div>
												
틀린 부분이 있을 수 있습니다.
<h2>DeepSeek-R1-Zero</h2>
<ul>
<li>
DeepSeek-V3-Base 를 기반으로 RL 만을 이용해 학습
처음부터 시작하면 시간과 돈이 많이 들기 때문에 교사 모델로부터 지식 증류(Knowledge Distillation)함
[추측] 여러 방법이 있지만 수십만개의 질문을 던지고 답변을 받아, 그 데이타로 학습했을 듯.
</li>
<li>
지도학습 생략
지도학습(사람이 생성한 질문과 정답 제공) 은 시간과 비용이 많이 들기 때문에 생력
</li>
<li>
RL 만을 이용해 학습
<ul>
<li>기존 보상모델 생략</li>
</ul>
모델이 답을 내면 사람이 답을 평가하고, 
그것(질문+답+평가)을 가지고 평가를 자동화하는 보상 모델을 새로 구측하지만, 
이것을 생략함
<ul>
<li>답변 평가 자동화</li>
</ul>
GRPO (Group Relative Policy Optimization) 방법 개발
<ul>
<li>
동일한 질문에 답변을 여러개 생성하도록 함
</li>
<li>
미리 정의된 답변 평가 규칙에 따라 점수화 (예시: 수학의 경우 정답이 있음)
</li>
<li>
가장 좋은 점수가 나온 질문-답변으로 학습
</li>
<li>
정답이 없는 질문의 경우 각 답변들을 점수화해서 모두 학습
</li>
<li>
답변이 난해, 언어 혼합 문제(영어,중국어 혼재)
</li>
</ul>
</li>
</ul>
<h2>DeepSeek-R1 (이번 연구 모델)</h2>
<ul>
<li>
순서 : 지식 증류(Knowledge Distillation) =&gt; SFT =&gt; RL
</li>
<li>
역시 지식증류로 시작
</li>
<li>
소량의 지도 학습 데이타 제공 (사람이 질문 답변 생성)
</li>
<li>
이후 강화학습 시작
<ul>
<li>답변 평가 자동화</li>
</ul>
GRPO (Group Relative Policy Optimization)
<ul>
<li>보상모델</li>
</ul>
모델이 특정 형식(예: <code>&lt;think&gt;</code> 사고 과정 <code>&lt;/think&gt;</code> <code>&lt;answer&gt;</code> 최종 답변 <code>&lt;/answer&gt;</code>)에 따라 추론하고 답변하도록 유도
모델이 자기 평가를 하기 시작함
<ul>
<li>다단계학습</li>
</ul>
추론과정에서 나온 질문답변을 이용해 재학습
<ul>
<li>언어 일관성</li>
</ul>
<code>&lt;think&gt;</code> 사고 과정 <code>&lt;/think&gt;</code> 영역에 단일 언어만 사용하도록 유도
목표 언어 단어 비율을 보상에 반영
<ul>
<li>직접 증류</li>
</ul>
교사 모델에 모델이 직접 질문하게 하고 답변을 학습
</li>
</ul>
 Post Views: 5
														</div>
		
	
	</article></div>

상구리의 기술 블로그

DeepSeek 논문 정리
틀린 부분이 있을 수 있습니다.
DeepSeek-R1-Zero
DeepSeek-V3-Base 를 기반으로 RL 만을 이용해 학습
처음부터 시작하면 시간과 돈이 많이 들기 때문에 교사 모델로부터 지식 증류(Knowledge Distillation)함
[추측] 여러 방법이 있지만 수십만개의 질문을 던지고 답변을 받아, 그 데이타로 학습했을 듯.
지도학습 생략
지도학습(사람이 생성한 질문과 정답 제공) 은 시간과 비용이 많이 들기 때문에 생력
RL 만을 이용해 학습
기존 보상모델 생략
모델이 답을 내면 사람이 답을 평가하고,
답변 평가 자동화
GRPO (Group Relative Policy Optimization) 방법 개발
동일한 질문에 답변을 여러개 생성하도록 함
미리 정의된 답변 평가 규칙에 따라 점수화 (예시: 수학의 경우 정답이 있음)
가장 좋은 점수가 나온 질문-답변으로 학습
정답이 없는 질문의 경우 각 답변들을 점수화해서 모두 학습
답변이 난해, 언어 혼합 문제(영어,중국어 혼재)
DeepSeek-R1 (이번 연구 모델)
순서 : 지식 증류(Knowledge Distillation) => SFT => RL
역시 지식증류로 시작
소량의 지도 학습 데이타 제공 (사람이 질문 답변 생성)
이후 강화학습 시작
답변 평가 자동화
GRPO (Group Relative Policy Optimization)
보상모델
모델이 특정 형식(예: <think> 사고 과정 </think> <answer> 최종 답변 </answer>)에 따라 추론하고 답변하도록 유도
모델이 자기 평가를 하기 시작함
다단계학습
추론과정에서 나온 질문답변을 이용해 재학습
언어 일관성
<think> 사고 과정 </think> 영역에 단일 언어만 사용하도록 유도
목표 언어 단어 비율을 보상에 반영
직접 증류
교사 모델에 모델이 직접 질문하게 하고 답변을 학습

DeepSeek 논문 정리

댓글