<div id="readability-page-1" class="page"><div id="page">
                        
                                <article data-post-id="756657294178140160">
                                    <div>

                                        

                                        <div><div><figure><a data-big-photo="https://64.media.tumblr.com/193675addf9f6b061853adaaa4d154f7/be53a68f20ec9c30-b4/s1280x1920/389063707173986fedd6ee87761ab68ccee9ae37.jpg" data-big-photo-height="462" data-big-photo-width="1562"><img src="https://64.media.tumblr.com/193675addf9f6b061853adaaa4d154f7/be53a68f20ec9c30-b4/s1280x1920/389063707173986fedd6ee87761ab68ccee9ae37.jpg" sizes="(max-width: 1280px) 100vw, 1280px" alt="image"></a></figure></div><p>간밤에 메타에서 드디어 라마3를 공개했습니다. 역시나 기대했던 대로 압도적인 스케일과 성능을 자랑하네요. 2만 4천 장의 GPU, 15T 학습 데이터, 1천만 건의 인스트럭션 데이터, 1.3M GPU hours, 모든 게 압도적입니다. 당연히 벤치마크 성능도 대단합니다. 8B 모델이 기존 성능을 다 뛰어넘었고 70B는 상용 API보다 좋네요. Vocab Size도 128K라서 드디어 한글이 제대로 들어갔지만 아쉽게도 한글 학습은 많이 부족한 걸로 보입니다. 국내에서 사용하려면 누군가 한국어 트레이닝을 추가로 많이 해줘야 할거 같습니다. 학습 토큰에 대해 부연 설명을 드리자면 기존 최대치였던 미스트랄의 8T 보다 2배 수준이고, 구글이 색인하고 있는 문서가 2020년 기준 400B 수준입니다. 문서 하나를 100토큰으로 가정하면 ‘구글이 전 세계 인터넷을 돌아다니며 색인한 전체 문서 수의 1/3 가까이를 이번 라마3 모델에 투입했다'고 봐도 무방할 거 같습니다. 당연히 학습 시간도 130만 시간으로 기존 보다 10배 가까이 늘어났습니다만 이미 2만 4천 장의 GPU를 단일 클러스터로 묶어서 처리하고 있기 때문에 이틀이면 학습이 끝나겠네요. 재밌는 사실은 모델 구조는 변하지 않았다는 점입니다. 물론 모든 모델이 GQA를 사용하는 구조로 바뀌었지만 이건 지난 라마2때도 70B에는 이미 적용했던 거기 때문에 사실상 모든 성과는 데이터와 인프라로 이뤄낸 거라 볼 수 있습니다(모델에 투입된 인프라는 지난번 발표자료에서 정리한 적이 있는데요. 이번 라마3 내용을 추가해서 첨부합니다). 400B 모델은 아직 학습이 진행 중이라고 하는데 이건 또 얼마나 대단할지 벌써부터 기대가 큽니다.</p></div>

                                        
                                        
                                        
                                        

                                            

                                                

                                            

                                        
                                    </div>
                                </article>
                        
                        

                        
                            
                                
                            
                        

                        
                            
                                
                                
                            
                        
                    </div></div>

70+ Books in a yr

Meta Llama 3간밤에 메타에서 드디어 라마3를 공개했습니다. 역시나 기대했던 대로 압도적인 스케일과 성능을 자랑하네요. 2만 4천 장의 GPU, 15T 학습 데이터, 1천만...

간밤에 메타에서 드디어 라마3를 공개했습니다. 역시나 기대했던 대로 압도적인 스케일과 성능을 자랑하네요. 2만 4천 장의 GPU, 15T 학습 데이터, 1천만 건의 인스트럭션…

댓글

간밤에 메타에서 드디어 라마3를 공개했습니다. 역시나 기대했던 대로 압도적인 스케일과 성능을 자랑하네요. 2만 4천 장의 GPU, 15T 학습 데이터, 1천만 건의 인스트럭션&hellip;

댓글

간밤에 메타에서 드디어 라마3를 공개했습니다. 역시나 기대했던 대로 압도적인 스케일과 성능을 자랑하네요. 2만 4천 장의 GPU, 15T 학습 데이터, 1천만 건의 인스트럭션…