<div id="readability-page-1" class="page"><div>
												<h2>기존 범용 인공지능 모델에 한국어 추가학습하기 (개념)</h2>
<p>기존 범용 인공지능 모델(예: GPT, LLaMA, T5 등)에 한국어 능력을 추가하는 방법을 설명합니다.</p>
<p>2 가지 방법이 있습니다.</p>
<h2>추가 사전학습 (Continued Pretraining)</h2>
<p>기존 모델이 한국어를 거의 모르는 경우에 사용합니다.</p>
<p>범용 한국어 데이터 (한국어 위키백과, 뉴스, 블로그, AI Hub 데이터) 를 준비합니다.</p>
<p>대량의 한국어 데이터를 Masked Language Modeling(MLM) 방식으로 학습시킵니다.</p>
<h3>Masked Language Modeling(MLM)</h3>
<p><strong>Masked Language Modeling(MLM)</strong>은 문장에서 일부 단어를 <strong>마스킹(가림)</strong>하고, 모델이 이를 예측하도록 학습하는 자연어 처리(NLP) 기법입니다.</p>
<p>문장의 일부 단어를 랜덤하게 [MASK] 토큰으로 교체합니다.</p>
<p>첫 번째 학습: "나는 오늘 [MASK] 갔다."<br>
두 번째 학습: "나는 [MASK] 공원에 갔다."<br>
세 번째 학습: "나는 오늘 공원에 [MASK]."</p>
<p>단어 마스킹 예제</p>
<pre><code>from transformers import BertTokenizer, BertForMaskedLM
import torch

# 1. 토크나이저 및 모델 로드
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
model = BertForMaskedLM.from_pretrained("bert-base-uncased")

# 2. 입력 문장 및 마스킹
sentence = "Today is a really nice day."
inputs = tokenizer(sentence, return_tensors="pt")
mask_token_index = torch.where(inputs["input_ids"] == tokenizer.mask_token_id)[1]

# "really"를 마스킹하여 예측하도록 설정
inputs["input_ids"][0, 3] = tokenizer.mask_token_id

# 3. 모델 예측
outputs = model(**inputs)
logits = outputs.logits

# 4. 마스킹된 토큰의 예측 결과
predicted_token_id = logits[0, mask_token_index].argmax(axis=-1)
predicted_word = tokenizer.decode(predicted_token_id)

print(f"마스킹된 단어 예측 결과: {predicted_word}")</code></pre>
<p>랜덤 마스킹 예제</p>
<pre><code>import random
from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")

def random_masking(sentence, mask_prob=0.15):
    tokens = tokenizer.tokenize(sentence)
    masked_tokens = []

    for token in tokens:
        if random.random() &lt; mask_prob:  # 15% 확률로 마스킹
            masked_tokens.append("[MASK]")
        else:
            masked_tokens.append(token)

    return " ".join(masked_tokens)

# 테스트 문장
sentence = "Today is a really beautiful day to go outside."
masked_sentence = random_masking(sentence)

print("원래 문장: ", sentence)
print("마스킹된 문장: ", masked_sentence)</code></pre>
<h2>파인튜닝 (Fine-tuning)</h2>
<p>기존 모델이 한국어를 어느 정도 알고 있는 경우에 사용합니다.</p>
<p>한국어-영어 병렬 데이터 (번역 데이타 등) 를 준비합니다.</p>
<p>번역 데이터로 Transformer 기반 학습을 시킵니다.</p>
<p><span></span> <span>Post Views:</span> <span>5</span>
			</p>											</div></div>

상구리의 기술 블로그

기존 범용 인공지능 모델에 한국어 추가학습하기 (개념)
기존 범용 인공지능 모델(예: GPT, LLaMA, T5 등)에 한국어 능력을 추가하는 방법을 설명합니다.
2 가지 방법이 있습니다.
추가 사전학습 (Continued Pretraining)
기존 모델이 한국어를 거의 모르는 경우에 사용합니다.
범용 한국어 데이터 (한국어 위키백과, 뉴스, 블로그, AI Hub 데이터) 를 준비합니다.
대량의 한국어 데이터를 Masked Language Modeling(MLM) 방식으로 학습시킵니다.
Masked Language Modeling(MLM)
Masked Language Modeling(MLM)은 문장에서 일부 단어를 마스킹(가림)하고, 모델이 이를 예측하도록 학습하는 자연어 처리(NLP) 기법입니다.
문장의 일부 단어를 랜덤하게 [MASK] 토큰으로 교체합니다.
첫 번째 학습: "나는 오늘 [MASK] 갔다."
단어 마스킹 예제
from transformers import BertTokenizer, BertForMaskedLM
import torch
# 1. 토크나이저 및 모델 로드
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
model = BertForMaskedLM.from_pretrained("bert-base-uncased")
# 2. 입력 문장 및 마스킹
sentence = "Today is a really nice day."
inputs = tokenizer(sentence, return_tensors="pt")
mask_token_index = torch.where(inputs["input_ids"] == tokenizer.mask_token_id)[1]
# "really"를 마스킹하여 예측하도록 설정
inputs["input_ids"][0, 3] = tokenizer.mask_token_id
# 3. 모델 예측
outputs = model(**inputs)
logits = outputs.logits
# 4. 마스킹된 토큰의 예측 결과
predicted_token_id = logits[0, mask_token_index].argmax(axis=-1)
predicted_word = tokenizer.decode(predicted_token_id)
print(f"마스킹된 단어 예측 결과: {predicted_word}")
랜덤 마스킹 예제
import random
from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
def random_masking(sentence, mask_prob=0.15):
    tokens = tokenizer.tokenize(sentence)
    masked_tokens = []
    for token in tokens:
        if random.random() < mask_prob:  # 15% 확률로 마스킹
            masked_tokens.append("[MASK]")
        else:
            masked_tokens.append(token)
    return " ".join(masked_tokens)
# 테스트 문장
sentence = "Today is a really beautiful day to go outside."
masked_sentence = random_masking(sentence)
print("원래 문장: ", sentence)
print("마스킹된 문장: ", masked_sentence)
파인튜닝 (Fine-tuning)
기존 모델이 한국어를 어느 정도 알고 있는 경우에 사용합니다.
한국어-영어 병렬 데이터 (번역 데이타 등) 를 준비합니다.
번역 데이터로 Transformer 기반 학습을 시킵니다.

기존 범용 인공지능 모델에 한국어 추가학습하기 (개념)

댓글