<div id="readability-page-1" class="page"><div id="page">
                        
                                <article data-post-id="756294915544219648">
                                    <div>

                                        

                                        <div><p>The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits<br><a href="https://arxiv.org/html/2402.17764v1">https://arxiv.org/html/2402.17764v1</a></p><p>예전에 일론 머스크가 “테슬라는 2-bit quantization 모델을 쓰고 있다"라고 트위터에서 언급하는 바람에 화제가 된 바 있죠. 작년에는 마이크로소프트에서 BitNet 논문이 나왔는데, 말 그대로 1-bit transformers를 표방하여 주목을 받았지만 문제는 아쉬운 성능이었습니다. 그런데 이번에 나온 1.58비트 모델은 아쉬웠던 그때의 성능을 보완해서 화제가 되고 있네요. 요지는 이진법이 아니라 -1,0,1 이렇게 3개로 삼진법을 사용하자는 주장입니다. 이렇게 하면 성능이 크게 떨어지지 않는다는 거죠. 그래서 $log_2{3}=1.58$, 이 값 그대로 1.58비트 모델입니다. 이번에는 지난번 비트넷 논문과 달리 ppl 수치도 함께 제공했는데, 거의 차이 없는 수치를 보입니다. 심지어 3B 모델은 오히려 더 낮네요(ppl은 낮을수록 좋습니다) 물론 ppl이 LLM의 성능을 대변할 수 있느냐는 논란이 있을 수 있지만 성능을 나타내는 하나의 지표로는 충분히 참고할만합니다.</p><p>무엇보다 이 논문의 핵심은 최근 딥러닝 모델들이 지나치게 거대해지면서 에너지 소비량이 엄청나다는 점을 지적한다는 점인데, 1.58비트에 맞는 최적의 하드웨어를 설계하면 에너지 소비를 많이 줄일 수 있다는 점을 강조합니다. 특히 가중치가 -1,0,1밖에 없으면 다른 행렬과 matmul을 할 때(입력값은 동일하게 16비트 사용) 곱셈 연산이 필요 없습니다. 부호만 붙여서 덧셈 연산만 하면 되니까 기존에 GPU가 아닌 이에 맞는 새로운 하드웨어를 설계하여 에너지 소비를 줄이고 엄청나게 빠른 속도를 낼 수 있다는 거죠. 그러면서 논문에서는 groq의 사례도 언급합니다. 물론 groq이 정상적으로 production이 가능한 구성이냐는 논란은 분분하지만 적어도 LLM을 가장 빠른 속도로 서빙하는 데는 성공했죠. 이와 비슷하게 삼진법을 사용하고 덧셈만 가능한 하드웨어를 설계한다면 매우 효율적이고 빠른 서빙이 가능할 것이라는 거죠. 실제로 논문 말미에는 다음과 같은 문장으로 끝맺음합니다.</p><blockquote><p>Going one step further, we envision and call for actions to design new hardware and system specifically optimized for 1-bit LLMs, given the new computation paradigm enabled in BitNet.</p></blockquote><p>"한 걸음 더 나아가, 우리는 비트넷에서 구현되는 새로운 연산 패러다임을 고려해 1비트 LLM에 최적화된 새로운 하드웨어와 시스템 설계를 구상할 것을 촉구합니다.”</p></div>

                                        
                                        
                                        
                                        

                                            

                                                

                                            

                                        
                                    </div>
                                </article>
                        
                        

                        
                            
                                
                            
                        

                        
                            
                                
                                
                            
                        
                    </div></div>

70+ Books in a yr

The Era of 1-bit LLMs: All Large Language Models are in 1.58...

The Era of 1-bit LLMs: All Large Language Models are in 1.58…

댓글

The Era of 1-bit LLMs: All Large Language Models are in 1.58&hellip;

댓글

The Era of 1-bit LLMs: All Large Language Models are in 1.58…