<div id="readability-page-1" class="page"><div id="page">
                        
                                <article data-post-id="756113715506659328">
                                    <div>

                                        

                                        <div><p>현대자동차그룹의 후원으로 MIT 윤킴 교수님과 지난 1년여간 함께 진행해온 산학 연구 논문이 요즘 화제네요.</p><p>LQ-LoRA: Low-rank Plus Quantized Matrix Decomposition for Efficient Language Model Finetuning<br><a href="https://arxiv.org/abs/2311.12023">https://arxiv.org/abs/2311.12023</a></p><p>처음에는 이 주제가 아니었는데, 1년여 동안 다양한 실험을 거쳐 주제를 변경해 왔고, LQ-LoRA로 결실을 내게 되었습니다. 연구 진행 과정을 곁에서 보는 것만으로 많은 도움이 되었던 과제였습니다. 이 연구에서 소개하는 LQ-LoRA는 pretrained matrix를 high-precision low-rank component와 memory-efficient quantized component로 분해하고 파인 튜닝 중에 low-rank component만 업데이트하는 접근 방식으로, 기존 QLoRA 및 GPTQ-LoRA에 비해 성능이 더 뛰어날 뿐만 아니라 보다 aggressive 한 quantization이 가능합니다. LLaMA-2 모델 실험 결과 LQ-LoRA는 2.5비트로 학습했을 때 4비트 QLoRA와 거의 유사한 성능을 보이며, 또한 LLaMA-2 70B에서 27GB 메모리만으로 half precision(이 경우 140GB 필요)에 근접할만한 놀라운 성능을 보여줍니다.</p><p>어렵게 진행한 연구 논문이 좋은 결실을 맺어 더없이 기쁘네요. 논문 말미 acknowledgements에는 저희에 대한 감사 인사가 들어가 있습니다 ^^</p><p>“We thank the members of the Hyundai 42dot research team for helpful comments and discussions. This study was supported by funds from Hyundai Motor Group, MIT-IBM Watson AI, and the MLA@CSAIL initiative.”</p></div>

                                        
                                        
                                        
                                        

                                            

                                                

                                            

                                        
                                    </div>
                                </article>
                        
                        

                        
                            
                                
                            
                        

                        
                            
                                
                                
                            
                        
                    </div></div>

70+ Books in a yr

현대자동차그룹의 후원으로 MIT 윤킴 교수님과 지난 1년여간 함께 진행해온 산학 연구 논문이 요즘 화제네요.LQ-LoRA: Low-rank Plus Quantized Matrix...

현대자동차그룹의 후원으로 MIT 윤킴 교수님과 지난 1년여간 함께 진행해온 산학 연구 논문이 요즘 화제네요.

댓글