<div id="readability-page-1" class="page"><section id="page">
            
            
                <div>
                    <nav>
                        <ul>
                            <li>
                                <a href="/">Posts</a>
                            </li>
                            
                            
                            
                            
                            
                            <li>
                                <a href="/archive">Archive</a>
                            </li>
                        </ul>
                    </nav>
                </div>
            
            
            
            
            

            <div id="posts">
                        
                                <article data-post-id="756566705201954816">
                                    <div>

                                        

                                        <div><p>42dot LLM에 대한 소개 글이 회사 공식 블로그에 올라왔습니다. LLM의 구조가 어떻게 되어 있고, 어떻게 만들었는지 그 과정을 일반인도 이해할 수 있는 수준으로 매우 쉽게 설명하였습니다. 한번 보시면 도움이 될거 같습니다.</p><p>참고로 퇴사 직전까지 제가 직접 작성하고 나온 글인데요. 비록 이제는 함께하지 않지만 국내 최초의 한영통합 언어 모델 LLM을 빌드하고 공개했던 자랑스러운 과정을 함께할 수 있어 무척 영광이었습니다. 오래도록 기억에 남기겠습니다.</p></div>

                                        
                                        
                                        
                                        

                                            

                                                

                                            

                                        
                                    </div>
                                </article>
                        
                        

                        
                            
                                
                            
                        

                        
                            
                                <section>
                                    <h2>More you might like</h2>
                                    <div>
                                    
                                            <article data-post-id="755751343624486912">
                                                <div>
                                                    
                                                    <div><div><figure><a data-big-photo="https://64.media.tumblr.com/056760d94f86031d5a0d5608114be408/c5c874eb2e72960c-ec/s1280x1920/5e3cdbbbe0a40806b172df4b8ead22e023af1a61.jpg" data-big-photo-height="418" data-big-photo-width="846"><img src="https://64.media.tumblr.com/056760d94f86031d5a0d5608114be408/c5c874eb2e72960c-ec/s1280x1920/5e3cdbbbe0a40806b172df4b8ead22e023af1a61.jpg" sizes="(max-width: 846px) 100vw, 846px" alt="image"></a></figure></div><p>입으로 인공지능 얘기하는 곳 말고 ^^ 진짜 손으로 만들어 내는 인공지능 기업 블로그 5군데를 소개합니다. 저는 이곳을 매일 방문해서 최신 글이 올라오면 빠짐없이 정독합니다.</p><ol><li>NVIDIA 기술 블로그</li><li>PyTorch 블로그</li><li>Hugging Face 블로그</li><li>Microsoft Research 블로그</li><li>Google Research 블로그</li></ol></div>

                                                    
                                                    
                                                    
                                                </div>
                                            </article>
                                    
                                            <article data-post-id="756023126035415040">
                                                <div>
                                                    
                                                    <div><div><figure><a data-big-photo="https://64.media.tumblr.com/89e6e9f563de4b1c0571d532d7c50bc6/14cd9a7ccc4a379d-78/s1280x1920/0e56b8a4daf67d151b515cde0355eeb6f1a4e71a.jpg" data-big-photo-height="1342" data-big-photo-width="2048"><img src="https://64.media.tumblr.com/89e6e9f563de4b1c0571d532d7c50bc6/14cd9a7ccc4a379d-78/s1280x1920/0e56b8a4daf67d151b515cde0355eeb6f1a4e71a.jpg" sizes="(max-width: 1280px) 100vw, 1280px" alt="image"></a></figure></div><p>&lt;비전공자도 이해할 수 있는 AI 지식&gt;이 2023년 우수 도서로 선정되어 얼마전에 중앙일보에 전면 광고도 나갔고, 오늘 시상식이 열려 정진호 작가님이 직접 참석하셔서 상패도 받아오셨습니다 ^^</p></div>

                                                    
                                                    
                                                    
                                                </div>
                                            </article>
                                    
                                            <article data-post-id="755570131715883008">
                                                <div>
                                                    
                                                    <div><p>창의력을 높이기 위해 걸으면서 얘기하는 건 좋은 아이디어라고 생각합니다. 다만 그냥 밖에 나가서 걸으면 될 것을 굳이 저렇게까지 해야 하나 싶네요.</p><p>예전 회사 기억을 떠올려 보면 가장 창의적일 때가 담배를 피우러 나갈 때였어요. 담배를 피우면서 옆 팀 팀장님과 우연히 마주쳐서 업무가 잘 진행되는지 서로 얘기하다 보면 ‘아, 그거 같이 해보면 좋겠다’ 식으로 새로운 일이 진행될 때도 있죠. 건강에 전혀 도움 안 되는 담배가 유일하게 도움 될 때가 바로 이 같은 창의적인 업무 진행이었습니다. 드라마 '미생'에서도 보면 옥상에서 담배 피우면서 참 많은 일이 진행되는 모습이 잘 나타나있죠. 그때야 대부분이 담배를 피우던 시절이지만 요즘은 더 이상 담배 피우는 사람도 없고, 저 또한 담배를 끊었기 때문에 이제 그런 자리가 사라져 버린 게 가장 아쉬운 점입니다.</p><p>제가 초기에 직장 생활할 때와 비교해 보면 요즘 회사라는 공간은 정말 삭막한 공간이 되었습니다. 요즘은 회사에서 거의 말을 안 하죠. 서로 사생활에 관한 얘기는 자제하고, 담배 피우러 나가서 잡담을 하는 것도 아니고, 할 얘기가 있어도 슬랙으로 메시지를 보내고 마니까요. 직접 얼굴을 보면서 대화를 나눌 기회가 거의 없습니다. 심지어 할 얘기가 있으면 미리 일정을 잡고 회의실을 예약해야 한다고 하니 이제 회사라는 공간에서 가볍게 잡담을 나눌 수 있는 기회가 사라져 버렸습니다.</p><p>예전에는 그냥 담배 피우러만 나가도 무작위의 사람들과 충분히 창의적인 대화를 할 수 있었습니다. 그러나 어느덧 화상 미팅을 하면서 걸어 다니는 발판까지 등장해야 겨우 창의적일 수 있는 시대가 된 거 같네요.</p></div>

                                                    
                                                    
                                                    
                                                </div>
                                            </article>
                                    
                                            <article data-post-id="755660739094724609">
                                                <div>
                                                    
                                                    <div><p>42dot LLM은 리더보드 용도로 파인튜닝한게 아니기 때문에 점수는 낮지만, 실제로 써보면 성능은 매우 뛰어난 걸 확인할 수 있습니다. 320장의 GPU로 약 1주일 동안 PLM부터 시작해 바닥부터 끝까지 모두 직접 학습한 모델입니다. 이렇게 많은 분들이 직접 사용해보면서 성능을 알아주시니 뿌듯하네요! 👍</p></div>

                                                    
                                                    
                                                    
                                                </div>
                                            </article>
                                    
                                            <article data-post-id="756476111199895552">
                                                <div>
                                                    
                                                    <div><p>이번 GTC에서 발표한 GB200 NVL72 상세 스펙을 보면 GPU 72장을 하나로 묶어서 13.5TB까지 메모리 활용이 가능합니다. 기존에는 최대 80GB여서 GPT-4 스케일(220Bx8=1.8T)을 half precision으로 돌려도 45장, full precision은 90장이 필요했는데 이제 이 모든 걸 한 대에 돌려도 충분히 여유가 있는 거죠. 단순히 계산해 보면 GPT-4보다 2배 더 큰 모델도 full precision으로 문제없이 돌릴 수 있습니다. 당연히 parallel로 인한 병목도 더 이상 걱정할 필요가 없고요. 기존에는 이 병목을 좀 줄여보겠다고 GPU끼리 nvlink로 묶고, 노드 간에는 infiniband로 묶는 등 갖은 노력을 했죠. 하지만 아무리 그래도 단일 GPU의 속도는 따라갈 수가 없었습니다. 제가 A100 사용할 때 HBM 속도가 1.9TB/s나 나오는 걸 보며 ‘정말 빠르구나'하고 감탄했는데, 이제는 GB200에 기본으로 탑재되는 HBM3e가 16TB/s가 나오니 8배 더 빠르고요. 지금 소개하는 GB200 NVL72에는 576TB/s라고 스펙에 나와있습니다. 이 정도면 기존 A100보다 300배나 더 빠른 건데 정말 엄청난 속도네요. 물리적으로는 GPU 간 통신을 하는 형태로 보이는데 그래서 nvlink는 계속 유효한 거 같습니다만 이 또한 스펙상 속도가 130TB/s로 나와있으니 웬만한 HBM보다도 훨씬 더 빠릅니다. 무엇보다 기존에 inference에 최적화 한 칩을 만들던 회사들이(Groq 등) 좀 난감할 거 같네요. 아마 빅테크 등 기존에도 H100을 수 천, 수 만 대 단위로 주문하던 회사들은 당연히 NVL72를 구매해서 추론을 할거 같고요. 국내 기업들도 웬만한 대기업은 충분히 구매해서 추론을 시도해볼 거 같습니다. 역시 NVIDIA는 조용히 있다가 이런 걸 적절한 타이밍에 터트려 대니 당분간은 꾸준히 업계를 선도할 것으로 보입니다.</p></div>

                                                    
                                                    
                                                    
                                                </div>
                                            </article>
                                    
                                            <article data-post-id="756294915544219648">
                                                <div>
                                                    
                                                    <div><p>The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits<br><a href="https://arxiv.org/html/2402.17764v1">https://arxiv.org/html/2402.17764v1</a></p><p>예전에 일론 머스크가 “테슬라는 2-bit quantization 모델을 쓰고 있다"라고 트위터에서 언급하는 바람에 화제가 된 바 있죠. 작년에는 마이크로소프트에서 BitNet 논문이 나왔는데, 말 그대로 1-bit transformers를 표방하여 주목을 받았지만 문제는 아쉬운 성능이었습니다. 그런데 이번에 나온 1.58비트 모델은 아쉬웠던 그때의 성능을 보완해서 화제가 되고 있네요. 요지는 이진법이 아니라 -1,0,1 이렇게 3개로 삼진법을 사용하자는 주장입니다. 이렇게 하면 성능이 크게 떨어지지 않는다는 거죠. 그래서 $log_2{3}=1.58$, 이 값 그대로 1.58비트 모델입니다. 이번에는 지난번 비트넷 논문과 달리 ppl 수치도 함께 제공했는데, 거의 차이 없는 수치를 보입니다. 심지어 3B 모델은 오히려 더 낮네요(ppl은 낮을수록 좋습니다) 물론 ppl이 LLM의 성능을 대변할 수 있느냐는 논란이 있을 수 있지만 성능을 나타내는 하나의 지표로는 충분히 참고할만합니다.</p><p>무엇보다 이 논문의 핵심은 최근 딥러닝 모델들이 지나치게 거대해지면서 에너지 소비량이 엄청나다는 점을 지적한다는 점인데, 1.58비트에 맞는 최적의 하드웨어를 설계하면 에너지 소비를 많이 줄일 수 있다는 점을 강조합니다. 특히 가중치가 -1,0,1밖에 없으면 다른 행렬과 matmul을 할 때(입력값은 동일하게 16비트 사용) 곱셈 연산이 필요 없습니다. 부호만 붙여서 덧셈 연산만 하면 되니까 기존에 GPU가 아닌 이에 맞는 새로운 하드웨어를 설계하여 에너지 소비를 줄이고 엄청나게 빠른 속도를 낼 수 있다는 거죠. 그러면서 논문에서는 groq의 사례도 언급합니다. 물론 groq이 정상적으로 production이 가능한 구성이냐는 논란은 분분하지만 적어도 LLM을 가장 빠른 속도로 서빙하는 데는 성공했죠. 이와 비슷하게 삼진법을 사용하고 덧셈만 가능한 하드웨어를 설계한다면 매우 효율적이고 빠른 서빙이 가능할 것이라는 거죠. 실제로 논문 말미에는 다음과 같은 문장으로 끝맺음합니다.</p><blockquote><p>Going one step further, we envision and call for actions to design new hardware and system specifically optimized for 1-bit LLMs, given the new computation paradigm enabled in BitNet.</p></blockquote><p>"한 걸음 더 나아가, 우리는 비트넷에서 구현되는 새로운 연산 패러다임을 고려해 1비트 LLM에 최적화된 새로운 하드웨어와 시스템 설계를 구상할 것을 촉구합니다.”</p></div>

                                                    
                                                    
                                                    
                                                </div>
                                            </article>
                                    
                                            <article data-post-id="756204304905469952">
                                                <div>
                                                    
                                                    <div><p>llama.cpp의 K-Quantization <a href="https://github.com/ggerganov/llama.cpp/pull/1684">https://github.com/ggerganov/llama.cpp/pull/1684</a> 을 따라서 구현해보다가 길을 잃고 😑 좀 더 쉽게 접근하기 위해 Karpathy의 llama2.c에서 runq.c 코드부터 살펴보고 있습니다. <a href="https://github.com/karpathy/llama2.c/blob/master/runq.c">https://github.com/karpathy/llama2.c/blob/master/runq.c</a></p><p>나름 OpenMP로 parallel 구현도 되어 있고(물론 matmul은 naive 구현이라 한참 최적화가 필요하지만) 함수와 Makefile도 깨끗해서 더할나위 없이 보기가 편해 마침내 제대로 길을 찾아가고 있습니다.</p><p>기존 엔터프라이즈 서비스 코드 와는 다른 ML 코드만의 특징 중 하나가 이렇게 추상화를 지양한다는 점인데, 어떤 framework이 등장해 추상화를 열심히 해놓으면 또 이렇게 Karpathy같은 걸출한 양반이 등장해 알고리즘을 vanilla로 구현하는 일이 반복됩니다. 아마도 알고리즘을 직접 이해하고 응용하고 개선하는 일이 잦다보니 구현과 추상화가 끊임없이 반복되는거겠죠. 추상화로 입문한 초보 개발자들도 마음만 먹으면 구현에 참여하면서 한 단계 업그레이드 할 수 있으니 그러면서 ML 생태계가 꾸준히 성장하는거 같습니다.</p><p>물론 그 중심에는 Karpathy같은 사람의 영향이 큽니다. 그가 OpenAI를 그만두고 weekend project를 진행하면서 본격 유튜버로 데뷔한게 😑 ML 업계에는 얼마나 큰 축복인가 싶네요.</p><p>요즘 자기전에 항상 Karpathy 강의 영상을 틀어놓고 자는데요. 어제도 minbpe 영상을 재밌게 들었어요. 원래 광고도 없어서 보기 편했는데 얼마전에 보니 이 양반이 광고도 붙여놔서 😑 잠결에 계속 광고까지 들어야 해서 영 불편해졌어요. 그래도 이제 백수되셨으니 광고비라도 보탬이 되어드려야 겠다 싶어 기쁜 마음으로 듣기는 하는데, 음질은 또 별로라서 마이크라도 하나 사드리고 싶은 마음이 … 꾸준히 성장하는 ML 생태계와 nvidia 주가 😑 를 보며 주말에 Karpathy의 runq.c를 응용한 weekend project나 진행해봅니다.</p></div>

                                                    
                                                    
                                                    
                                                </div>
                                            </article>
                                    
                                            <article data-post-id="755841920142639104">
                                                <div>
                                                    
                                                    <div><p>“비행기를 만드는 일은 가능할 것이다. 다만 수학자와 엔지니어가 백만 년, 아니 천만 년 정도 꾸준히 그리고 열심히 연구해야 가능할 것이다.” - 1903년 10월 9일 『뉴욕타임스』에 실린 기사</p><p>두 달 뒤 1903년 12월 17일, 라이트 형제가 플라이어호를 날리다.</p></div>

                                                    
                                                    
                                                    
                                                </div>
                                            </article>
                                    
                                            <article data-post-id="755932524499337216">
                                                <div>
                                                    
                                                    <div><p>맞습니다.</p><p>오픈소스 시대가 열리면서 이런 현상은 더욱 가속화 되고 있죠. 커리어 내내 어려운 기술은 한 번도 접해보지도 않고 매니저로 올라가는 경우가 허다합니다. 물론 좋은 개발자와 좋은 매니저는 또 다르기에 기술의 깊이가 없어도 좋은 매니저가 되는 경우도 있습니다.</p><p>하지만 문제는 그렇게 올라간 좋은 매니저가 “내 경험상 기술은 별거 없고 서비스가 중요하더라"라고 얘기하는 경우가 태반이라는 거죠. 본인이 어려운 기술을 해본적이 없으니 그런 잘못된 얘기를 하고 다닙니다.</p></div>

                                                    
                                                    
                                                    
                                                </div>
                                            </article>
                                    
                                    </div>
                                    
                                </section>
                                
                            
                        
                    </div>
            
            
        </section></div>

70+ Books in a yr

42dot LLM 1.3B42dot LLM에 대한 소개 글이 회사 공식 블로그에 올라왔습니다. LLM의 구조가 어떻게 되어 있고, 어떻게 만들었는지 그 과정을 일반인도 이해할 수...

42dot LLM에 대한 소개 글이 회사 공식 블로그에 올라왔습니다. LLM의 구조가 어떻게 되어 있고, 어떻게 만들었는지 그 과정을 일반인도 이해할 수 있는 수준으로 매우 쉽게…

댓글

42dot LLM에 대한 소개 글이 회사 공식 블로그에 올라왔습니다. LLM의 구조가 어떻게 되어 있고, 어떻게 만들었는지 그 과정을 일반인도 이해할 수 있는 수준으로 매우 쉽게&hellip;

댓글

42dot LLM에 대한 소개 글이 회사 공식 블로그에 올라왔습니다. LLM의 구조가 어떻게 되어 있고, 어떻게 만들었는지 그 과정을 일반인도 이해할 수 있는 수준으로 매우 쉽게…