<div id="readability-page-1" class="page"><div>
					

<p>안녕하세요. 고감자 입니다. 블로그에서는 오랜만이네요. 한창 블로그를 많이 쓰던 때에 비교하면 거의 블로그는 방치 상태였는데, 그럼에도 불구하고 글쓰기의 묘미는 여전히 있다고 생각합니다. 그리고 공개되는 글이 없는 반면에 제가 개인적으로 정리하고 메모하는 글을 상당합니다. 그런데, 그러한 글들은 거의 공유되지 못하고 죽어버린 정보가 되는 경우가 많다는 생각이 들었습니다. 따라서 올해부터는 개인적으로 정리하고 소화하는 정보를 블로그에 정리해보고자 합니다. 뭐 일종의 뉴스레터 같은거라 생각합니다. 아마도 이 뉴스레터는 개인적인 관심사 위주로 흘러갈 거라서 아마도 같은 관심사를 가진 분들에게는 큰 도움이 될수도 있을 것입니다.</p>



<p>정리는 기술단위로 진행하겠습니다만, 이번 주제는 요즘 핫한 큰 모델 학습하기…(GPT-3…)…</p>



<hr>



<h2>ZeRO, Pipe Model Parallel</h2>



<p>10억개 정도 파라메터를 가진 모델은 V100 GPU 한장에서 파인튜닝이 불가능하다. 이를 가능하게 하는 여러가지 기술이 소개되고 있는데, 이에 대한 내용을 정리해 본다.</p>



<p><a onclick="javascript:pageTracker._trackPageview('/outgoing/github.com/huggingface/transformers');" href="https://github.com/huggingface/transformers">Hugingface Transformers</a></p>



<ul><li><a onclick="javascript:pageTracker._trackPageview('/outgoing/huggingface.co/blog/zero-deepspeed-fairscale');" href="https://huggingface.co/blog/zero-deepspeed-fairscale">Fit More and Train Faster With ZeRO via DeepSpeed and FairScale</a></li></ul>



<p>DeepSpeed는 GPU 메모리를 획기적으로 줄이면서 학습 효율을 높이는 기술(ZeRO, Offload)을 제공하고 있고,&nbsp;FairScale은&nbsp;DeepSpeed의 ZeRO(stage 1)과&nbsp;GPipe의 Pipe Parallel 기술을 PyTorch API로 잘 정리해서 제공하고 있다. 이 기술(ZeRO)가 transformers trainer에 포함되었다는 포스팅인데, 역시&nbsp;Transformers는 기술들을 민주화하는 역량이 상당한것 같음.</p>



<p>위 글의 내용을 포함해서 다양한 논의들이&nbsp;<a onclick="javascript:pageTracker._trackPageview('/outgoing/github.com/huggingface/transformers/issues/8771');" href="https://github.com/huggingface/transformers/issues/8771">이곳</a>에서 진행되고 있으니 관심 있으신 분들은 구독!</p>



<p><a onclick="javascript:pageTracker._trackPageview('/outgoing/github.com/PyTorchLightning/pytorch-lightning');" href="https://github.com/PyTorchLightning/pytorch-lightning">PyTorch Lightning</a></p>



<p>PyTorch Lightning은 간편한 사용과 다양한 기능 덕분에 필자도 애용하는 학습 프레임웍.&nbsp;<a onclick="javascript:pageTracker._trackPageview('/outgoing/ai.facebook.com/blog/reengineering-facebook-ais-deep-learning-platforms-for-interoperability/');" href="https://ai.facebook.com/blog/reengineering-facebook-ais-deep-learning-platforms-for-interoperability/">Facebook의 Production에서도 기본 학습 프레임웍으로 사용</a>하고 있다고함.</p>



<ul><li><a onclick="javascript:pageTracker._trackPageview('/outgoing/medium.com/pytorch/pytorch-lightning-1-1-model-parallelism-training-and-more-logging-options-7d1e47db7b0b');" href="https://medium.com/pytorch/pytorch-lightning-1-1-model-parallelism-training-and-more-logging-options-7d1e47db7b0b">PyTorch Lightning 1.1 – Model Parallelism Training and More Logging Optionn</a></li><li><a onclick="javascript:pageTracker._trackPageview('/outgoing/seannaren.medium.com/introducing-pytorch-lightning-sharded-train-sota-models-with-half-the-memory-7bcc8b4484f2');" href="https://seannaren.medium.com/introducing-pytorch-lightning-sharded-train-sota-models-with-half-the-memory-7bcc8b4484f2">Introducing PyTorch Lightning Sharded: Train SOTA Models, With Half The Memory</a></li></ul>



<p>PyTorch Lightning은 Facebook Research의&nbsp;FairScale를 채용해서 앞서 설명한 ZeRO와 GPipe의 Pipe Model Parallel을 적용해 학습하는 방법을 소개하고 있다. 필자도 빠르게 사용해 봤는데, ZeRO의 경우 잘 동작하나 Pipe Model Parallel은 몇가지 이슈가 있었음. 특히 필자가 올린&nbsp;<a onclick="javascript:pageTracker._trackPageview('/outgoing/github.com/PyTorchLightning/pytorch-lightning/issues/5644');" href="https://github.com/PyTorchLightning/pytorch-lightning/issues/5644">이슈</a>는 해결이 쉽지 않아 보였는데, 빨리 해결되길 바람.</p>



<ul><li><a onclick="javascript:pageTracker._trackPageview('/outgoing/github.com/pytorch/pytorch/pull/46750?fbclid=IwAR0mavwEsaJFV0t6hnNeTzYY6pYM8upjLk7E7OCzQPqvZm6TeEMJWNVa3HE');" href="https://github.com/pytorch/pytorch/pull/46750?fbclid=IwAR0mavwEsaJFV0t6hnNeTzYY6pYM8upjLk7E7OCzQPqvZm6TeEMJWNVa3HE">ZeRO + PyTorch</a></li></ul>



<p>곧 PyTorch에 포함된 ZeRO를 보게될거 같음. 하지만 아직까지는 빅 모델 학습의 끝판왕은&nbsp;<a onclick="javascript:pageTracker._trackPageview('/outgoing/github.com/NVIDIA/Megatron-LM');" href="https://github.com/NVIDIA/Megatron-LM">Megatron-LM</a>임. 학습은 잘 하시더라도 학습된 모델 잘들 사용하고 있는지? :\</p>



<ul><li><a onclick="javascript:pageTracker._trackPageview('/outgoing/github.com/teddykoker/tinyloader');" href="https://github.com/teddykoker/tinyloader">https://github.com/teddykoker/tinyloader</a></li></ul>



<p><a onclick="javascript:pageTracker._trackPageview('/outgoing/pytorch.org/docs/stable/data.html#torch.utils.data.DataLoader');" href="https://pytorch.org/docs/stable/data.html#torch.utils.data.DataLoader">torch.utils.data.DataLoader</a>&nbsp;부분을 잘 사용하는것은 생각보다 중요합니다. 특히나 대용량의 데이터를 효과적으로 다룰때는 내부가 어떻게 동작하는지 이해하는건 매우 중요함. 위 git에서는 아주 간단한 dataloader를 직접 만들어 보면서 그 구현 원리를 파악하고 있음. 관련된&nbsp;<a onclick="javascript:pageTracker._trackPageview('/outgoing/teddykoker.com/2020/12/dataloader/');" href="https://teddykoker.com/2020/12/dataloader/">블로그 글</a>도 있으니 참고!</p>



<h2>QA</h2>



<ul><li><a onclick="javascript:pageTracker._trackPageview('/outgoing/huggingface.co/blog/ray-rag');" href="https://huggingface.co/blog/ray-rag">Retrieval Augmented Generation with Huggingface Transformers and Ray</a></li><li><a onclick="javascript:pageTracker._trackPageview('/outgoing/arxiv.org/pdf/2005.11401v2.pdf');" href="https://arxiv.org/pdf/2005.11401v2.pdf">Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks</a></li></ul>



<figure><a onclick="javascript:pageTracker._trackPageview('/downloads/wp-content/uploads/1be00ac8d467430ca2568443b8d5479e.png');" href="http://freesearch.pe.kr/wp-content/uploads/1be00ac8d467430ca2568443b8d5479e.png"><img loading="lazy" width="1024" height="456" src="http://freesearch.pe.kr/wp-content/uploads/1be00ac8d467430ca2568443b8d5479e-1024x456.png" alt="" title="" sizes="(max-width: 1024px) 100vw, 1024px"></a></figure>



<p>GPT같은 모델에서 원하는 방향으로 생성을 잘 하려면 context를 잘 줘서 생성해야 됨. 언어모델 학습때 사용한 위키로 관련 정보를 보강해서 context를 만들어 줄 수 있으면 생성시 좋은 효과를 볼 수 있는데 특히 QA와 같은 knowledge-intensive 테스크에서 좋은 성능을 보여줌.</p>



<h2>Model Serving</h2>



<ul><li><a onclick="javascript:pageTracker._trackPageview('/outgoing/github.com/bentoml/BentoML');" href="https://github.com/bentoml/BentoML">BentoML</a></li></ul>



<p>필자의 경우 주로&nbsp;<a onclick="javascript:pageTracker._trackPageview('/outgoing/www.cortex.dev/');" href="https://www.cortex.dev/">cortex</a>&nbsp;사용해서 모델 API를 제공해왔음. 이를 활용한 이유는 인스턴스 성능에 따라 모델의 출력(throughput) 조절하기가 간단했기 때문임(전통적인 멀티프로세싱으로 인한 스케일링…방식).</p>



<p>BentoML은 MLOps분들이 좋아할만한 플랫폼임. 다양한 모델을 커버하고 있고, 모델 버전관리를 하는 레포지터리의 UI는 가장 맘음에 든다. 그리고 모델 인퍼런스 성능에 영향을 주는&nbsp;<a onclick="javascript:pageTracker._trackPageview('/outgoing/docs.bentoml.org/en/latest/guides/micro_batching.html');" href="https://docs.bentoml.org/en/latest/guides/micro_batching.html">micro batching</a>을 적용해 response time 최적화가 가능하다는 큰 장점이 있음.</p>



<hr>



<h2>Research</h2>



<ul><li><a onclick="javascript:pageTracker._trackPageview('/outgoing/arxiv.org/abs/2012.07805v1');" href="https://arxiv.org/abs/2012.07805v1">Extracting Training Data from Large Language Models</a></li></ul>



<figure><a onclick="javascript:pageTracker._trackPageview('/downloads/wp-content/uploads/647567acf8614ad6b4f6febb11b449cd.png');" href="http://freesearch.pe.kr/wp-content/uploads/647567acf8614ad6b4f6febb11b449cd.png"><img loading="lazy" width="739" height="819" src="http://freesearch.pe.kr/wp-content/uploads/647567acf8614ad6b4f6febb11b449cd.png" alt="" title="" sizes="(max-width: 739px) 100vw, 739px"></a></figure>



<p>학습때 사용한 데이터를 언어생성할 수 있다는 건데, 문제는 민감 정보가 포함될 수 있다는 것임. 이를 위해 학습 데이터에 일종의 노이즈를 가해서 생성하는 차등정보보호(Differential Privacy)와 같은 조치와 더불어 학습 데이터를 문서 이하 레벨로 중복필터을 하는 방식을 제안하고 있다. 중복필터가 중요한 이유는 이러한 공격(attack)이 모델의 과적합과 관련이 되있다고 보기 때문임.</p>



<p>통계청에서 공유하고 있는<a onclick="javascript:pageTracker._trackPageview('/outgoing/kostat.go.kr/sri/srikor/srikor_pbl/2/index.board?bmode=read&amp;aSeq=374602&amp;pageNo=2&amp;rowNum=10&amp;amSeq=&amp;sTarget=title&amp;sTxt=');" href="http://kostat.go.kr/sri/srikor/srikor_pbl/2/index.board?bmode=read&amp;aSeq=374602&amp;pageNo=2&amp;rowNum=10&amp;amSeq=&amp;sTarget=title&amp;sTxt="> 차등정보보호 관련 발표자료</a>.</p>



<ul><li><a onclick="javascript:pageTracker._trackPageview('/outgoing/arxiv.org/abs/2009.13272');" href="https://arxiv.org/abs/2009.13272">Augmented Natural Language for Generative Sequence Labeling</a></li></ul>



<p>lable semantics + generation 를 이용한 서로 다른 테스크(NLU)들 사이의 knowledge sharing, few shot 성능 좋음, T5 활용(BART도 가능할 것으로 판단). 인코더, 디코더 모델의 실무 활용성을 가늠해볼 수 있는 논문입니다.</p>



<ul><li><a onclick="javascript:pageTracker._trackPageview('/outgoing/arxiv.org/abs/2004.01972');" href="https://arxiv.org/abs/2004.01972">Learning a Simple and Effective Model for Multi-turn Response Generation with Auxiliary Tasks</a></li></ul>



<p>generation 모델 학습시 단순한 auxiliary tasks 추가만으로 더 좋은 생성 결과를 보여줬다. auxiliary task 는 인코더 디코더 학습시 인코더에 넣는 방식으로 해서 확장 가능하다. 코퍼스 성격에 따라 다르나, order recovery , content recovery(MLM) 모두 NLG에 중요한 task임.디코더가 단순해 빠른 생성이 가능. 성능 좋은 인코더가 있을 경우 빠르게 NLG 성능을 올릴 수 있는 방법임</p>



<ul><li><a onclick="javascript:pageTracker._trackPageview('/outgoing/arxiv.org/abs/2004.07159');" href="https://arxiv.org/abs/2004.07159">PALM: Pre-training an Autoencoding&amp;Autoregressive Language Model for Context-conditioned Generation</a></li></ul>



<p>인코더 MLM with RoBERTa (autoencoding). 디코더 NS Generation + pointer generator (autoregressive generation). 잘 학습된 인코더만 있을 경우 NLG를 잘 할 수 있는 모델을 찾는데 의미가 있음.. 성능은 그럭저럭</p>






<p prefix="dct: http://purl.org/dc/terms/ cc: http://creativecommons.org/ns#"><a rel="license" href="https://creativecommons.org/licenses/by-nc/4.0/"><img alt="CC BY-NC 4.0" src="http://freesearch.pe.kr/wp-content/plugins/creative-commons-configurator-1/media/cc/by-nc/4.0/80x15.png" width="80" height="15"></a>
<a href="http://freesearch.pe.kr/archives/5034" title="Permalink to 21년 2월 2주"><span property="dct:title">21년 2월 2주</span></a> by <a href="http://freesearch.pe.kr/archives/author/admin" property="cc:attributionName" rel="cc:attributionURL">from __future__ import dream</a> is licensed under a <a rel="license" target="_blank" href="https://creativecommons.org/licenses/by-nc/4.0/">Creative Commons Attribution-NonCommercial 4.0 International License</a>.</p>

									</div></div>

from __future__ import dream

안녕하세요. 고감자 입니다. 블로그에서는 오랜만이네요. 한창 블로그를 많이 쓰던 때에 비교하면 거의 블로그는 방치 상태였는데, 그럼에도 불구하고 글쓰기의 묘미는 여전히 있다고 생각합니다. 그리고 공개되는 글이 없는 반면에 제가 개인적으로 정리하고 메모하는 글을 상당합니다. 그런데, 그러한 글들은 거의 공유되지 못하고 죽어버린 … 계속 읽기 →
The post 21년 2월 2주 appeared first on from __future__ import dream.

21년 2월 2주

댓글