<div id="readability-page-1" class="page"><div data-pagefind-body="">    <p><strong>2주 간의 KoELECTRA 개발</strong>을 마치고, 그 과정을 글로 남기려고 한다. 결론부터 적으면 <strong>TPU v3-8에서 Base 약 7일, Small 약 3일</strong>을 학습해 7개 한국어 NLP 태스크로 평가했고, <strong>KoBERT보다 전반적으로 좋았으며 HanBERT와 비슷하거나 오히려 더 좋은 케이스도 있었다.</strong> 모델은 <code>transformers</code>에서 tokenization 파일 없이 바로 쓸 수 있다.</p><p>이 글을 읽으신 분들은 내가 했던 <strong>삽질(?)</strong>을 최대한 덜 하길 바라는 마음이다:)</p>
<p>2부에는 <strong>Pretraining, Finetuning</strong>과 그 결과를 다룬다.</p>
<blockquote>
<p><strong>Github Repo:</strong> <a href="https://github.com/monologg/KoELECTRA" rel="nofollow noopener noreferrer" target="_blank">https://github.com/monologg/KoELECTRA</a></p>
</blockquote>
<blockquote>
<p><strong>2026-08 기준 안내</strong> — 이 글은 2020년 5월에 쓴 기록이라, 본문(벤치마크 수치 포함)은 당시 내용 그대로 두었습니다.</p>
<ul>
<li>본문의 비교 대상(XLM-RoBERTa-Base 등)과 벤치마크 수치는 2020년 시점 기준입니다. 이후 KoELECTRA는 v3까지 업데이트되었고, 최신 성능 비교는 <a href="https://github.com/monologg/KoELECTRA" rel="nofollow noopener noreferrer" target="_blank">KoELECTRA 레포</a>에 있습니다.</li>
<li>사용법 코드의 모델 이름은 여전히 동작하지만, 지금은 v3 (<code>monologg/koelectra-base-v3-discriminator</code>) 사용을 권장합니다.</li>
</ul>
</blockquote>
<section><h2 id="training">Training<a href="#training"><span data-pagefind-ignore="">#</span></a></h2><p>😀 드디어 모든 삽질들을 끝내고, Pretraining을 시작하였다 😀</p><section><h3 id="loss">Loss<a href="#loss"><span data-pagefind-ignore="">#</span></a></h3><p><img alt="base loss" loading="lazy" decoding="async" fetchpriority="auto" width="1512" height="431" src="https://monologg.kr/_astro/base_loss.BA3gQktW_ZLWYpC.webp">
<img alt="small loss" loading="lazy" decoding="async" fetchpriority="auto" width="1522" height="434" src="https://monologg.kr/_astro/small_loss.CXi9ks0L_jNlTj.webp"></p><p>약 300k step 까지의 <code>base</code>와 <code>small</code>의 loss 추이이다. 첫 100k까지는 매우 빠르게 줄어들다가, 그 이후에는 조금씩 줄어드는 모습을 보인다.</p></section><section><h3 id="benchmark">Benchmark<a href="#benchmark"><span data-pagefind-ignore="">#</span></a></h3><p>학습 중간중간 성능 체크는 <code>nsmc</code> 데이터셋을 가지고 간단하게 평가하였다 (사실 GPU가 1개 밖에 없어 <code>nsmc</code>만 테스트한 건 비밀😢)</p>


























<table><thead><tr><th>Acc(%)</th><th>25K</th><th>75K</th><th>90K</th><th>125K</th><th>150K</th><th>250K</th><th>300K</th><th>450K</th></tr></thead><tbody><tr><td><code>Base</code></td><td>88.10</td><td>88.48</td><td>88.67</td><td>88.92</td><td>88.97</td><td>89.51</td><td>89.65</td><td>90.16</td></tr></tbody></table><p>Step이 증가할수록 accuracy가 오르는 것이 눈에 띄게 보이니 신기하긴 했다. (이것이 Pretraining의 힘인가…)</p></section><section><h3 id="training-time">Training Time<a href="#training-time"><span data-pagefind-ignore="">#</span></a></h3><p>데이터의 경우 <strong>14GB</strong>로 총 <code>2.6B Token</code>이다. BERT와 ELECTRA에서는 <code>3.3B Token</code>을 사용한 것에 비하면 데이터의 양이 조금 모자란 게 아쉽긴 하지만, 이것이 개인 단위에서 모을 수 있었던 최선의 데이터양이었다😵</p><p><strong>TPU v3-8</strong> 기준으로 <code>Base</code> 모델은 <strong>약 7일</strong>, <code>Small</code> 모델은 <strong>약 3일</strong>이 소요되었다. 그래서 이 기간 동안 <strong>Finetuning</strong> 코드를 짜는 것으로 시간을 절약하였다.</p></section></section>
<section><h2 id="finetuning-코드-제작">Finetuning 코드 제작<a href="#finetuning-코드-제작"><span data-pagefind-ignore="">#</span></a></h2><p>코드의 경우는 <a href="https://github.com/huggingface/transformers/tree/master/examples" rel="nofollow noopener noreferrer" target="_blank">Transformers의 Example 코드</a>를 참고하여 제작하였다.</p><p><strong>Finetuning의 경우 총 7개의 task에 대해 진행하였다.</strong> (때마침 얼마 전 카카오브레인에서 <code>KorNLI</code>와 <code>KorSTS</code> 데이터셋을 공개해주었다👍 1년 전과 비교했을 때 벤치마크를 평가할 수 있는 한국어 데이터셋이 많아진 것은 정말 좋은 일이라 할 수 있다.)</p>


































<table><thead><tr><th></th><th>NSMC</th><th>PAWS</th><th>QuestionPair</th><th>KorNLI</th><th>KorSTS</th><th>NaverNER</th><th>KorQuad</th></tr></thead><tbody><tr><td><strong>Task</strong></td><td>감정분석</td><td>유사문장</td><td>유사문장</td><td>추론</td><td>유사문장</td><td>개체명인식</td><td>기계독해</td></tr><tr><td><strong>Metric</strong></td><td>Acc</td><td>Acc</td><td>Acc</td><td>Acc</td><td>Spearman</td><td>F1</td><td>EM/F1</td></tr></tbody></table><p>기존의 연구들에서는 <code>Bert-Multilingual-Cased</code>를 가지고 많이 비교하였는데, 이번 연구에서는 <code>XLM-Roberta-Base</code> 모델로 평가를 시도하였다. 확실히 xlm-roberta가 bert보다는 성능이 좋았기에, 적어도 <code>KoELECTRA</code>가 xlm-roberta는 뛰어넘어야 유의미하지 않을까라고 생각해서 였다.</p><p><a href="https://deview.kr/2019/schedule/291" rel="nofollow noopener noreferrer" target="_blank">Deview에서 발표한 Larva</a>의 경우 Benchmark pipeline을 만들어서 ckpt가 들어올 때마다 계속 evaluation을 해주었다고 하는데, 앞에서도 말했듯이 나에게는 GPU가 1개 밖에 없고, GCP에서 GPU를 많이 빌릴 수도 없기에 <strong>가장 최근 5개의 ckpt를 가지고 평가</strong>하였고, 그 중에서 평균값이 가장 좋았던 것을 최종 모델로 선정하였다.</p><p><strong>Finetuning용 코드 및 사용법</strong>은 <a href="https://github.com/monologg/KoELECTRA/tree/master/finetune" rel="nofollow noopener noreferrer" target="_blank">여기</a>에서 직접 확인해볼 수 있다.</p></section><section><h2 id="convert-from-tensorflow-to-pytorch">Convert from Tensorflow to Pytorch<a href="#convert-from-tensorflow-to-pytorch"><span data-pagefind-ignore="">#</span></a></h2><p>Huggingface에서 <code>ElectraModel</code>을 구현하면서 tensorflow를 pytorch로 변환하는 코드도 함께 만들어줬다😍</p><p>관련 내용은 <a href="/posts/2020/05/01/transformers-porting/">내가 만든 ELECTRA를 Huggingface Transformers로 Porting하기</a>를 읽어보길 바란다. (<strong>여기서도 굉장히 삽질을 많이 해본 입장으로서 꼭 읽어보길 권한다</strong>)</p></section>
<section><h2 id="result">Result<a href="#result"><span data-pagefind-ignore="">#</span></a></h2><p><img alt="Base result" loading="lazy" decoding="async" fetchpriority="auto" width="952" height="292" src="https://monologg.kr/_astro/base_result.B9zUMG_2_Z28OLcU.webp">
<img alt="Small result" loading="lazy" decoding="async" fetchpriority="auto" width="953" height="245" src="https://monologg.kr/_astro/small_result.Cn0-axPN_dxsGf.webp"></p><p>처음에 이 프로젝트를 계획할 때 가장 걱정되었던 점이 <strong>“성능이 안 나오면 어쩌나”</strong>였다. (성능이 너무 안 좋으면 사실 2주를 제대로 날린 셈이기에…)</p><p><strong>결과는 예상했던 것보다 훨씬 좋았다.</strong> 애초에 데이터의 양이나 Tokenizer 등을 고려했을 때 <code>HanBERT</code>를 완벽히 따라잡는 것은 무리라고 생각했지만, <code>KoBERT</code>보다 전반적으로 성능이 많이 좋을 줄은 몰랐다. <code>HanBERT</code>와도 실질적인 결과는 비슷하거나 오히려 더 좋은 케이스도 있어서 이 정도면 <strong>대성공</strong>이라고 봐도 될 꺼 같다.</p><p><code>KoELECTRA-Small</code>의 성능이 가장 인상적이었는데, 모델의 사이즈가 <code>DistilKoBERT</code>의 절반임에도 불구하고 우수한 성능을 보였다. <strong>경량화 모델에서 충분히 사용할 만한 가치가 있을 것 같다.</strong></p></section>
<section><h2 id="how-to-use">How to Use<a href="#how-to-use"><span data-pagefind-ignore="">#</span></a></h2><p>이 프로젝트를 처음 계획했을 때의 고려사항 중 아래 사항들이 가장 중요했었다.</p><blockquote>
<p>“<strong>모든 OS</strong>에서 사용 가능”
“<strong>tokenization 파일을 만들 필요 없이</strong> 곧바로 사용 가능”</p>
</blockquote><p>그리고 이제 <code>transformers</code> 라이브러리만 있으면 어떠한 환경에서도 <code>한국어 PLM</code>을 사용할 수 있게된 것이다🤗</p><div><figure><pre data-language="bash"><code><div><p><span>$</span><span> </span><span>pip3</span><span> </span><span>install</span><span> </span><span>-U</span><span> </span><span>transformers</span></p></div></code></pre></figure></div><div><figure><pre data-language="python"><code><div><p><span>from</span><span> transformers </span><span>import</span><span> ElectraModel, ElectraTokenizer</span></p></div><div><p><span># KoELECTRA-Base</span></p></div><div><p><span>model </span><span>=</span><span> ElectraModel.from_pretrained(</span><span>"monologg/koelectra-base-discriminator"</span><span>)</span></p></div><div><p><span>tokenizer </span><span>=</span><span> ElectraTokenizer.from_pretrained(</span><span>"monologg/koelectra-base-discriminator"</span><span>)</span></p></div><div><p><span># KoELECTRA-Small</span></p></div><div><p><span>model </span><span>=</span><span> ElectraModel.from_pretrained(</span><span>"monologg/koelectra-small-discriminator"</span><span>)</span></p></div><div><p><span>tokenizer </span><span>=</span><span> ElectraTokenizer.from_pretrained(</span><span>"monologg/koelectra-small-discriminator"</span><span>)</span></p></div></code></pre></figure></div></section>
<section><h2 id="맺으며">맺으며<a href="#맺으며"><span data-pagefind-ignore="">#</span></a></h2><p><img alt="와우!" loading="lazy" decoding="async" fetchpriority="auto" width="496" height="383" src="https://monologg.kr/_astro/facebook-reaction.COLAAtev_1FHESl.webp"></p><p>솔직히 이렇게까지 반응이 좋을 줄은 몰랐다🙄 개발자로서 이럴 때가 가장 보람있지 않은가 싶다.</p><p>처음 계획할 때부터 <strong>“이거 만들면 다른 분들에게도 큰 도움이 되겠다”</strong>라 생각했는데, 실제로도 그런 것 같아 기분이 (굉장히) 좋다 😀</p><blockquote>
<p>“내가 불편해하는 것은 분명 다른 누군가도 불편해한다. 그런 부분을 해결해주는 것이 개발자의 역할이라고 생각한다.”</p>
</blockquote></section>
<section><h2 id="reference">Reference<a href="#reference"><span data-pagefind-ignore="">#</span></a></h2><ul>
<li><a href="https://github.com/google-research/electra" rel="nofollow noopener noreferrer" target="_blank">ELECTRA Official Code</a></li>
<li><a href="https://github.com/huggingface/transformers" rel="nofollow noopener noreferrer" target="_blank">Huggingface Transformers</a></li>
<li><a href="https://deview.kr/data/deview/2019/presentation/%5B111%5D+%E1%84%8B%E1%85%A5%E1%86%B7_%E1%84%8E%E1%85%A5%E1%86%BC+%E1%84%8F%E1%85%B3%E1%86%AB+%E1%84%8B%E1%85%A5%E1%86%AB%E1%84%8B%E1%85%A5+%E1%84%86%E1%85%A9%E1%84%83%E1%85%A6%E1%86%AF+%E1%84%80%E1%85%A9%E1%86%BC%E1%84%8C%E1%85%A1%E1%86%BC+%E1%84%80%E1%85%A1%E1%84%83%E1%85%A2%E1%84%83%E1%85%B3%E1%84%80%E1%85%B5.pdf" rel="nofollow noopener noreferrer" target="_blank">Deview 2019 Larva Presentation</a></li>
<li><a href="https://github.com/kakaobrain/KorNLUDatasets" rel="nofollow noopener noreferrer" target="_blank">KorNLI, KorSTS</a></li>
</ul></section>
<section><ul>
<li><a href="/posts/2020/05/01/transformers-porting/">내가 만든 ELECTRA를 Huggingface Transformers로 Porting하기</a></li>
<li><a href="/posts/2020/05/02/koelectra-part1/">2주 간의 KoELECTRA 개발기 - 1부</a></li>
</ul></section>  </div></div>

Monologg Blog

2주 간의 KoELECTRA 개발을 마치고, 그 과정을 글로 남기려고 한다. 결론부터 적으면 TPU v3-8에서 Base 약 7일, Small 약 3일을 학습해 7개 한국어 NLP 태스크로 평가했고, KoBERT보다 전반적으로 좋았으며 HanBERT와 비슷하거나 오히려 더 좋은 케이스도 있었다. 모델은 transformers에서 tokenization 파일 없이 바로 쓸 수 있다.
이 글을 읽으신 분들은 내가 했던 **삽질(?)**을 최대한 덜 하길 바라는 마음이다:)
2부에는 Pretraining, Finetuning과 그 결과를 다룬다.
Github Repo: https://github.com/monologg/KoELECTRA
2026-08 기준 안내 — 이 글은 2020년 5월에 쓴 기록이라, 본문(벤치마크 수치 포함)은 당시 내용 그대로 두었습니다.
본문의 비교 대상(XLM-RoBERTa-Base 등)과 벤치마크 수치는 2020년 시점 기준입니다. 이후 KoELECTRA는 v3까지 업데이트되었고, 최신 성능 비교는 KoELECTRA 레포에 있습니다.
사용법 코드의 모델 이름은 여전히 동작하지만, 지금은 v3 (monologg/koelectra-base-v3-discriminator) 사용을 권장합니다.
Training
😀 드디어 모든 삽질들을 끝내고, Pretraining을 시작하였다 😀
Loss
약 300k step 까지의 base와 small의 loss 추이이다. 첫 100k까지는 매우 빠르게 줄어들다가, 그 이후에는 조금씩 줄어드는 모습을 보인다.
Benchmark
학습 중간중간 성능 체크는 nsmc 데이터셋을 가지고 간단하게 평가하였다 (사실 GPU가 1개 밖에 없어 nsmc만 테스트한 건 비밀😢)
Acc(%)
25K
75K
90K
125K
150K
250K
300K
450K
Base
88.10
88.48
88.67
88.92
88.97
89.51
89.65
90.16
Step이 증가할수록 accuracy가 오르는 것이 눈에 띄게 보이니 신기하긴 했다. (이것이 Pretraining의 힘인가....)
Training Time
데이터의 경우 14GB로 총 2.6B Token이다. BERT와 ELECTRA에서는 3.3B Token을 사용한 것에 비하면 데이터의 양이 조금 모자란 게 아쉽긴 하지만, 이것이 개인 단위에서 모을 수 있었던 최선의 데이터양이었다😵
TPU v3-8 기준으로 Base 모델은 약 7일, Small 모델은 약 3일이 소요되었다. 그래서 이 기간 동안 Finetuning 코드를 짜는 것으로 시간을 절약하였다.
Finetuning 코드 제작
코드의 경우는 Transformers의 Example 코드를 참고하여 제작하였다.
Finetuning의 경우 총 7개의 task에 대해 진행하였다. (때마침 얼마 전 카카오브레인에서 KorNLI와 KorSTS 데이터셋을 공개해주었다👍 1년 전과 비교했을 때 벤치마크를 평가할 수 있는 한국어 데이터셋이 많아진 것은 정말 좋은 일이라 할 수 있다.)
NSMC
PAWS
QuestionPair
KorNLI
KorSTS
NaverNER
KorQuad
Task
감정분석
유사문장
유사문장
추론
유사문장
개체명인식
기계독해
Metric
Acc
Acc
Acc
Acc
Spearman
F1
EM/F1
기존의 연구들에서는 Bert-Multilingual-Cased를 가지고 많이 비교하였는데, 이번 연구에서는 XLM-Roberta-Base 모델로 평가를 시도하였다. 확실히 xlm-roberta가 bert보다는 성능이 좋았기에, 적어도 KoELECTRA가 xlm-roberta는 뛰어넘어야 유의미하지 않을까라고 생각해서 였다.
Deview에서 발표한 Larva의 경우 Benchmark pipeline을 만들어서 ckpt가 들어올 때마다 계속 evaluation을 해주었다고 하는데, 앞에서도 말했듯이 나에게는 GPU가 1개 밖에 없고, GCP에서 GPU를 많이 빌릴 수도 없기에 가장 최근 5개의 ckpt를 가지고 평가하였고, 그 중에서 평균값이 가장 좋았던 것을 최종 모델로 선정하였다.
Finetuning용 코드 및 사용법은 여기에서 직접 확인해볼 수 있다.
Convert from Tensorflow to Pytorch
Huggingface에서 ElectraModel을 구현하면서 tensorflow를 pytorch로 변환하는 코드도 함께 만들어줬다😍
관련 내용은 내가 만든 ELECTRA를 Huggingface Transformers로 Porting하기를 읽어보길 바란다. (여기서도 굉장히 삽질을 많이 해본 입장으로서 꼭 읽어보길 권한다)
Result
처음에 이 프로젝트를 계획할 때 가장 걱정되었던 점이 **"성능이 안 나오면 어쩌나"**였다. (성능이 너무 안 좋으면 사실 2주를 제대로 날린 셈이기에....)
결과는 예상했던 것보다 훨씬 좋았다. 애초에 데이터의 양이나 Tokenizer 등을 고려했을 때 HanBERT를 완벽히 따라잡는 것은 무리라고 생각했지만, KoBERT보다 전반적으로 성능이 많이 좋을 줄은 몰랐다. HanBERT와도 실질적인 결과는 비슷하거나 오히려 더 좋은 케이스도 있어서 이 정도면 대성공이라고 봐도 될 꺼 같다.
KoELECTRA-Small의 성능이 가장 인상적이었는데, 모델의 사이즈가 DistilKoBERT의 절반임에도 불구하고 우수한 성능을 보였다. 경량화 모델에서 충분히 사용할 만한 가치가 있을 것 같다.
How to Use
이 프로젝트를 처음 계획했을 때의 고려사항 중 아래 사항들이 가장 중요했었다.
"모든 OS에서 사용 가능"
"tokenization 파일을 만들 필요 없이 곧바로 사용 가능"
그리고 이제 transformers 라이브러리만 있으면 어떠한 환경에서도 한국어 PLM을 사용할 수 있게된 것이다🤗
$ pip3 install -U transformers
from transformers import ElectraModel, ElectraTokenizer
# KoELECTRA-Base
model = ElectraModel.from_pretrained("monologg/koelectra-base-discriminator")
tokenizer = ElectraTokenizer.from_pretrained("monologg/koelectra-base-discriminator")
# KoELECTRA-Small
model = ElectraModel.from_pretrained("monologg/koelectra-small-discriminator")
tokenizer = ElectraTokenizer.from_pretrained("monologg/koelectra-small-discriminator")
맺으며
솔직히 이렇게까지 반응이 좋을 줄은 몰랐다🙄 개발자로서 이럴 때가 가장 보람있지 않은가 싶다.
처음 계획할 때부터 **"이거 만들면 다른 분들에게도 큰 도움이 되겠다"**라 생각했는데, 실제로도 그런 것 같아 기분이 (굉장히) 좋다 😀
"내가 불편해하는 것은 분명 다른 누군가도 불편해한다. 그런 부분을 해결해주는 것이 개발자의 역할이라고 생각한다."
Reference
ELECTRA Official Code
Huggingface Transformers
Deview 2019 Larva Presentation
KorNLI, KorSTS
Related Posts
내가 만든 ELECTRA를 Huggingface Transformers로 Porting하기
2주 간의 KoELECTRA 개발기 - 1부

2주 간의 KoELECTRA 개발기 - 2부

댓글