<div id="readability-page-1" class="page"><div id="page">
                        
                                <article data-post-id="756204304905469952">
                                    <div>

                                        

                                        <div><p>llama.cpp의 K-Quantization <a href="https://github.com/ggerganov/llama.cpp/pull/1684">https://github.com/ggerganov/llama.cpp/pull/1684</a> 을 따라서 구현해보다가 길을 잃고 😑 좀 더 쉽게 접근하기 위해 Karpathy의 llama2.c에서 runq.c 코드부터 살펴보고 있습니다. <a href="https://github.com/karpathy/llama2.c/blob/master/runq.c">https://github.com/karpathy/llama2.c/blob/master/runq.c</a></p><p>나름 OpenMP로 parallel 구현도 되어 있고(물론 matmul은 naive 구현이라 한참 최적화가 필요하지만) 함수와 Makefile도 깨끗해서 더할나위 없이 보기가 편해 마침내 제대로 길을 찾아가고 있습니다.</p><p>기존 엔터프라이즈 서비스 코드 와는 다른 ML 코드만의 특징 중 하나가 이렇게 추상화를 지양한다는 점인데, 어떤 framework이 등장해 추상화를 열심히 해놓으면 또 이렇게 Karpathy같은 걸출한 양반이 등장해 알고리즘을 vanilla로 구현하는 일이 반복됩니다. 아마도 알고리즘을 직접 이해하고 응용하고 개선하는 일이 잦다보니 구현과 추상화가 끊임없이 반복되는거겠죠. 추상화로 입문한 초보 개발자들도 마음만 먹으면 구현에 참여하면서 한 단계 업그레이드 할 수 있으니 그러면서 ML 생태계가 꾸준히 성장하는거 같습니다.</p><p>물론 그 중심에는 Karpathy같은 사람의 영향이 큽니다. 그가 OpenAI를 그만두고 weekend project를 진행하면서 본격 유튜버로 데뷔한게 😑 ML 업계에는 얼마나 큰 축복인가 싶네요.</p><p>요즘 자기전에 항상 Karpathy 강의 영상을 틀어놓고 자는데요. 어제도 minbpe 영상을 재밌게 들었어요. 원래 광고도 없어서 보기 편했는데 얼마전에 보니 이 양반이 광고도 붙여놔서 😑 잠결에 계속 광고까지 들어야 해서 영 불편해졌어요. 그래도 이제 백수되셨으니 광고비라도 보탬이 되어드려야 겠다 싶어 기쁜 마음으로 듣기는 하는데, 음질은 또 별로라서 마이크라도 하나 사드리고 싶은 마음이 … 꾸준히 성장하는 ML 생태계와 nvidia 주가 😑 를 보며 주말에 Karpathy의 runq.c를 응용한 weekend project나 진행해봅니다.</p></div>

                                        
                                        
                                        
                                        

                                            

                                                

                                            

                                        
                                    </div>
                                </article>
                        
                        

                        
                            
                                
                            
                        

                        
                            
                                
                                
                            
                        
                    </div></div>

70+ Books in a yr

llama.cpp의 K-Quantization https://github.com/ggerganov/llama.cpp/pull/1684 을 따라서 구현해보다가 길을 잃고 😑 좀 더...

llama.cpp의 K-Quantization https://github.com/ggerganov/llama.cpp/pull/1684 을 따라서 구현해보다가 길을 잃고 😑 좀 더…

댓글

llama.cpp의 K-Quantization https://github.com/ggerganov/llama.cpp/pull/1684 을 따라서 구현해보다가 길을 잃고 😑 좀 더&hellip;

댓글

llama.cpp의 K-Quantization https://github.com/ggerganov/llama.cpp/pull/1684 을 따라서 구현해보다가 길을 잃고 😑 좀 더…