<div id="readability-page-1" class="page"><div id="page">
                        
                                <article data-post-id="757291470304755712">
                                    <div>

                                        

                                        <div><p>지난번 라마3 모델의 순수 NumPy 구현에 이어 이번에는 라마3 모델을 순수 C/CUDA로 구현해봤습니다.</p><ul><li>GitHub: <a href="https://github.com/likejazz/llama3.cuda">https://github.com/likejazz/llama3.cuda</a></li><li>Reddit 소개글: <a href="https://www.reddit.com/r/LocalLLaMA/comments/1d6q7qh/llama3cuda_pure_ccuda_implementation_for_llama_3/">https://www.reddit.com/r/LocalLLaMA/comments/1d6q7qh/llama3cuda_pure_ccuda_implementation_for_llama_3/</a></li></ul><p>NumPy 구현과 달리 CUDA 구현은 고성능을 목표로 했기 때문에 M2 맥북 에어에서 33 tokens/s로 처리되던 것에 비해 CUDA 버전은 4080 SUPER에서 2,823 tokens/s로 처리되어 약 85배 더 빠른 속도를 보입니다. 왜 GPU를 사용해야 하는지를 몸소 체감할 수 있도록 했습니다.</p><p>무엇보다 이 모든 구현에 오픈소스 커뮤니티의 많은 도움을 받았습니다. 앞으로도 몇 차례 추가 개선을 통해 다양한 실험을 이어나갈 생각입니다. 피드백과 기여 또한 환영합니다.</p><p>상세한 기술적인 내용은 다음과 같습니다.</p><ul><li>No dependency<br>코드는 간결함과 가독성을 유지하도록 구성했으며, 의존성이 없는 구조로 개발하여 어디서든 간단하게 컴파일이 가능하게 했습니다. 아울러 Makefile과 CMake를 모두 지원합니다.</li><li>No C++<br>C++를 사용하지 않은 순수 C 구현이며, 모든 값은 포인터와 더블 포인터로 CPU에서 GPU의 값을 가리키는 형태로 구현되어 있습니다.</li><li>One single file<br>UTF-8 바이트 시퀀스 처리 같은 상용구 코드를 포함하고 있지만 전체 코드를 단일 파일에서 900줄 미만으로 유지했습니다.</li><li>Same result<br>NumPy 구현과 동일한 결과를 얻기 위해 logit 값을 일일이 디버깅하여 부동 소수점 연산 오차를 0.5% 미만으로 줄였습니다.</li></ul><p>이외에도 추후 개선 계획은 다음과 같습니다.</p><p>NumPy 버전과 동일한 결과를 보장하기 위해 토크나이저를 비롯한 일부 패치를 진행하였는데 재밌게도 토크나이저 코드에 안드레이 카파시가 “I don’t have the energy to read more of the sentencepiece code to figure out what it’s doing”라고 주석을 달아둔 걸 볼 수 있었습니다. 이 부분을 깔끔하게 마무리 하기 위해 많은 시간을 투자해 봤으나 아쉽게도 좋은 결과를 얻진 못했고 지저분하게 몽키 패치로 처리할 수밖에 없었습니다. 추후에 추가 개선을 진행하면서 다시 한번 도전해 볼 예정입니다.</p><p>이후에는 AMD의 ROCm 구현, Intel의 oneAPI 구현을 통해 CUDA 이외에 다른 플랫폼에서도 각각 검증을 진행해 볼 예정입니다. 또한 현재도 단일 커널로 Multi-Head Attention을 처리하여 Flash Attention과 비슷한 효과를 내고 있으나 GEMM 연산이 아닌 GEMV 연산을 수행하여 다소 비효율적으로 동작하는 문제가 있습니다. 추후에는 이 부분을 개선하여 Flash Attention을 정확하게 구현해 볼 예정입니다.</p><p>모델 구조와 UTF-8 토크나이저 구현은 안드레이 카파시가 지난번 llama2.c에 구현한 것을 대부분 사용했으며 CUDA 구현은 포틀랜드의 CUDA 전문 프로그래머인 rogerallen이 구현한 커널을 활용했습니다. 이외에 초창기에 인도의 ankan-ban이 구현한 CUDA 커널도 많이 참고하였습니다.</p><p>전 세계 오픈소스 커뮤니티의 도움으로 저 또한 간결하게 CUDA 구현을 마무리할 수 있었습니다. 많은 도움을 받았던 만큼 저 또한 코드를 공개하여 오픈소스 혁신이 전 세계에 이어질 수 있도록 보탬을 더해봅니다. 많은 분들에게 도움이 되길 바랍니다.</p></div>

                                        
                                        
                                        
                                        

                                            

                                                

                                            

                                        
                                    </div>
                                </article>
                        
                        

                        
                            
                                
                            
                        

                        
                            
                                
                                
                            
                        
                    </div></div>

70+ Books in a yr

지난번 라마3 모델의 순수 NumPy 구현에 이어 이번에는 라마3 모델을 순수 C/CUDA로 구현해봤습니다.GitHub:...

지난번 라마3 모델의 순수 NumPy 구현에 이어 이번에는 라마3 모델을 순수 C/CUDA로 구현해봤습니다.

댓글