mamba의 numpy 구현이 나왔네요.

https://github.com/idoh/mamba.np

저도 mamba 구조를 정확히 알진 못하는데, 이걸 보면 쉽게 이해할 수 있을거라 기대됩니다. 저의 llama3 numpy 구현에 영감을 받아서 만들었다고 ^^ 이렇게 오픈소스 혁신이 이어지는거 같네요!

More you might like

영문으로 소개 글을 하나 더 작성해서 LocalLLaMA 게시판 1등으로 올라갔습니다. 주말 동안 해킹한 결과 치고는 나쁘지 않은 성과네요 ^^

5월은 종합소득세 신고의 달입니다.

몇 년 전부터는 기타 소득까지 전부 사업 소득으로 잡혀서 세금이 제법 나오는 편인데, 다행히 홈택스가 좋아져서 마음만 먹으면 5분 만에도 신고를 끝낼 수 있는 세상입니다. 그래서 세무사들이 이제 일자리 다 잃는 거 아니냐며 걱정들을 하시는데, 사실 문제는 그게 아니죠.

3년 전쯤에 이런 일이 있었습니다. 나름대로 성실하게 세금 신고를 마쳤습니다. 그런데 6개월쯤 있다가 과소 신고로 추징금 폭탄을 안겨주더라고요. 열심히 세금 규정 읽어보고 정말 성실하게 신고했는데 왜 이런 일이 생기는 건지. 국세청에 전화해서 하소연해봐야 소용이 없었습니다. 저 같은 민원이 한둘이 아닌지 국세청 직원도 능숙하게 대응하더라고요. 결국 말도 안 되는 금액을 세금으로 납부할 수밖에 없었죠.

세무 분야의 AI와 기술의 발전은 세무사를 편하게 하는 것입니다. 저처럼 세무 지식이 없는 일반인들에게 세금을 줄여주는 기술이 아닌 거죠. 생각해 보면 다른 분야도 비슷합니다. 의료 AI의 발전은 의사를 편하게 하는 것이지, 일반인들이 마음대로 의학적 판단을 내릴 수 있는 기술이 아닙니다. 개발 분야도 마찬가지죠. Coding Assistant는 개발자가 편리하게 코딩할 수 있도록 도와주는 기술이지, 개발을 전혀 모르는 일반인이 그걸로 갑자기 프로덕트를 개발해서 출시할 수 있는 건 아니죠.

그래서 매 년 세무사에게 종합소득세 신고를 맡기고 있습니다. 올해도 당연히 맡겼고요. 아마 기술이 발전해서 세무사들은 점점 더 편리하게 신고할 수 있을 것이고 덩달아 소득도 증가할 거예요. 물론 저 또한 경비 지출 내역을 최대한 쉽게 정리하고자 기술을 활용하고 있습니다. 아예 파이썬 스크립트를 만들어 주피터 노트북으로 돌려서 자동화했죠. 카드사에서 1년 치 사용 내역을 액셀 파일로 추출한 다음 그걸 Pandas에 올려서 자동으로 장부를 작성하게끔 처리했습니다. 1년 치 장부를 정리하는 데 걸리는 시간은 고작 30여 분 내외죠. 이 정도면 세무사나 저나 기술의 발전으로 생산성을 높이고 함께 윈윈 하는 것이지, 어느 한쪽이 불필요한 건 아니죠.

저는 유료 자문도 웬만하면 진행하지 않습니다. 회사에 적을 두고 있기 때문에 회사 업무에 집중하기 위해서죠. 그런데 무료로 자문해 달라는 분들이 너무 많네요. 그나마 원래 알던 사이라면 가급적 도움을 드리고 싶지만 애초에 뵌 적도 없는 처음 보는 분들이 자문을 받고 싶다며 불쑥 만나자고 할 때는 적잖이 당황스럽습니다. 요즘도 일주일에 서너 건은 강연 요청, 방송 출연 요청, 자문 요청 들이 들어오고 있습니다. 그리고 거의 모든 요청은 정중하게 거절하고 있습니다. 회사에서 월급을 받는 사람으로서 항상 회사 업무가 우선이고 별도의 외부 활동은 매우 신중하게 고민하고 제한적으로 진행하고 있습니다. 이점 양해부탁드립니다.

한 가지 재밌는 사실은 무료로 요청하시는 분들은 제가 정중하게 거절하는 답변을 보내면 그 뒤로 아예 연락을 안 하시더라고요. 마치 문의 메일에 정성껏 답변을 보냈더니 고맙다는 답신 조차 하지 않는 사람들을 보는 거 같았습니다. 그런 분들이 나중에 회사에 들어가면 무료로 자문해 달라고 여기저기 연락하고 다니는 게 아닌가 싶었습니다.

그리고 어떤 분은 트레바리에 신청을 하고 저보고 자문을 해달라고 하시더라고요. 제가 거절했더니 나중에 트레바리는 취소하더군요 ㅋㅋ 물론 그 분도 그 이후로 어떠한 답신 조차 없었습니다.

입으로 인공지능 얘기하는 곳 말고 ^^ 진짜 손으로 만들어 내는 인공지능 기업 블로그 5군데를 소개합니다. 저는 이곳을 매일 방문해서 최신 글이 올라오면 빠짐없이 정독합니다.

NVIDIA 기술 블로그
PyTorch 블로그
Hugging Face 블로그
Microsoft Research 블로그
Google Research 블로그

평소에 책을 좋아하다 보니 트레바리 독서 모임에 종종 참여하는 편입니다. 이번에는 좋은 기회가 되어 클럽장으로 모임을 직접 운영하게 됐습니다. 주제는 책 제목과 비슷한 ‘비전공자도 이해할 수 있는 AI'입니다 ^^

https://m.trevari.co.kr/product/d57aee14-2ef7-48db-b958-ee380f91c322

'인공지능은 인류의 종말을 초래할까'와 같은 철학적, 윤리적 관점의 논의 보다는 인공지능 알고리즘을 객관적으로 바라보며, 동작 원리를 이해하고 어떻게 하면 일상에서 잘 활용할 수 있을지 토론하는 것을 지향합니다. 선정한 책은 다음 4권입니다.

비전공자도 이해할 수 있는 AI 지식
알고리즘, 인생을 계산하다
딥 씽킹
수학의 쓸모

아직 몇 자리 남아있으니 관심 있는 분들의 많은 참여 바랍니다 ^^

창의력을 높이기 위해 걸으면서 얘기하는 건 좋은 아이디어라고 생각합니다. 다만 그냥 밖에 나가서 걸으면 될 것을 굳이 저렇게까지 해야 하나 싶네요.

예전 회사 기억을 떠올려 보면 가장 창의적일 때가 담배를 피우러 나갈 때였어요. 담배를 피우면서 옆 팀 팀장님과 우연히 마주쳐서 업무가 잘 진행되는지 서로 얘기하다 보면 ‘아, 그거 같이 해보면 좋겠다’ 식으로 새로운 일이 진행될 때도 있죠. 건강에 전혀 도움 안 되는 담배가 유일하게 도움 될 때가 바로 이 같은 창의적인 업무 진행이었습니다. 드라마 '미생'에서도 보면 옥상에서 담배 피우면서 참 많은 일이 진행되는 모습이 잘 나타나있죠. 그때야 대부분이 담배를 피우던 시절이지만 요즘은 더 이상 담배 피우는 사람도 없고, 저 또한 담배를 끊었기 때문에 이제 그런 자리가 사라져 버린 게 가장 아쉬운 점입니다.

제가 초기에 직장 생활할 때와 비교해 보면 요즘 회사라는 공간은 정말 삭막한 공간이 되었습니다. 요즘은 회사에서 거의 말을 안 하죠. 서로 사생활에 관한 얘기는 자제하고, 담배 피우러 나가서 잡담을 하는 것도 아니고, 할 얘기가 있어도 슬랙으로 메시지를 보내고 마니까요. 직접 얼굴을 보면서 대화를 나눌 기회가 거의 없습니다. 심지어 할 얘기가 있으면 미리 일정을 잡고 회의실을 예약해야 한다고 하니 이제 회사라는 공간에서 가볍게 잡담을 나눌 수 있는 기회가 사라져 버렸습니다.

예전에는 그냥 담배 피우러만 나가도 무작위의 사람들과 충분히 창의적인 대화를 할 수 있었습니다. 그러나 어느덧 화상 미팅을 하면서 걸어 다니는 발판까지 등장해야 겨우 창의적일 수 있는 시대가 된 거 같네요.

간밤에 메타에서 드디어 라마3를 공개했습니다. 역시나 기대했던 대로 압도적인 스케일과 성능을 자랑하네요. 2만 4천 장의 GPU, 15T 학습 데이터, 1천만 건의 인스트럭션 데이터, 1.3M GPU hours, 모든 게 압도적입니다. 당연히 벤치마크 성능도 대단합니다. 8B 모델이 기존 성능을 다 뛰어넘었고 70B는 상용 API보다 좋네요. Vocab Size도 128K라서 드디어 한글이 제대로 들어갔지만 아쉽게도 한글 학습은 많이 부족한 걸로 보입니다. 국내에서 사용하려면 누군가 한국어 트레이닝을 추가로 많이 해줘야 할거 같습니다. 학습 토큰에 대해 부연 설명을 드리자면 기존 최대치였던 미스트랄의 8T 보다 2배 수준이고, 구글이 색인하고 있는 문서가 2020년 기준 400B 수준입니다. 문서 하나를 100토큰으로 가정하면 ‘구글이 전 세계 인터넷을 돌아다니며 색인한 전체 문서 수의 1/3 가까이를 이번 라마3 모델에 투입했다'고 봐도 무방할 거 같습니다. 당연히 학습 시간도 130만 시간으로 기존 보다 10배 가까이 늘어났습니다만 이미 2만 4천 장의 GPU를 단일 클러스터로 묶어서 처리하고 있기 때문에 이틀이면 학습이 끝나겠네요. 재밌는 사실은 모델 구조는 변하지 않았다는 점입니다. 물론 모든 모델이 GQA를 사용하는 구조로 바뀌었지만 이건 지난 라마2때도 70B에는 이미 적용했던 거기 때문에 사실상 모든 성과는 데이터와 인프라로 이뤄낸 거라 볼 수 있습니다(모델에 투입된 인프라는 지난번 발표자료에서 정리한 적이 있는데요. 이번 라마3 내용을 추가해서 첨부합니다). 400B 모델은 아직 학습이 진행 중이라고 하는데 이건 또 얼마나 대단할지 벌써부터 기대가 큽니다.

<비전공자도 이해할 수 있는 AI 지식>이 2023년 우수 도서로 선정되어 얼마전에 중앙일보에 전면 광고도 나갔고, 오늘 시상식이 열려 정진호 작가님이 직접 참석하셔서 상패도 받아오셨습니다 ^^

지난번 라마3 모델의 순수 NumPy 구현에 이어 이번에는 라마3 모델을 순수 C/CUDA로 구현해봤습니다.

GitHub: https://github.com/likejazz/llama3.cuda
Reddit 소개글: https://www.reddit.com/r/LocalLLaMA/comments/1d6q7qh/llama3cuda_pure_ccuda_implementation_for_llama_3/

NumPy 구현과 달리 CUDA 구현은 고성능을 목표로 했기 때문에 M2 맥북 에어에서 33 tokens/s로 처리되던 것에 비해 CUDA 버전은 4080 SUPER에서 2,823 tokens/s로 처리되어 약 85배 더 빠른 속도를 보입니다. 왜 GPU를 사용해야 하는지를 몸소 체감할 수 있도록 했습니다.

무엇보다 이 모든 구현에 오픈소스 커뮤니티의 많은 도움을 받았습니다. 앞으로도 몇 차례 추가 개선을 통해 다양한 실험을 이어나갈 생각입니다. 피드백과 기여 또한 환영합니다.

상세한 기술적인 내용은 다음과 같습니다.

No dependency
코드는 간결함과 가독성을 유지하도록 구성했으며, 의존성이 없는 구조로 개발하여 어디서든 간단하게 컴파일이 가능하게 했습니다. 아울러 Makefile과 CMake를 모두 지원합니다.
No C++
C++를 사용하지 않은 순수 C 구현이며, 모든 값은 포인터와 더블 포인터로 CPU에서 GPU의 값을 가리키는 형태로 구현되어 있습니다.
One single file
UTF-8 바이트 시퀀스 처리 같은 상용구 코드를 포함하고 있지만 전체 코드를 단일 파일에서 900줄 미만으로 유지했습니다.
Same result
NumPy 구현과 동일한 결과를 얻기 위해 logit 값을 일일이 디버깅하여 부동 소수점 연산 오차를 0.5% 미만으로 줄였습니다.

이외에도 추후 개선 계획은 다음과 같습니다.

NumPy 버전과 동일한 결과를 보장하기 위해 토크나이저를 비롯한 일부 패치를 진행하였는데 재밌게도 토크나이저 코드에 안드레이 카파시가 “I don’t have the energy to read more of the sentencepiece code to figure out what it’s doing”라고 주석을 달아둔 걸 볼 수 있었습니다. 이 부분을 깔끔하게 마무리 하기 위해 많은 시간을 투자해 봤으나 아쉽게도 좋은 결과를 얻진 못했고 지저분하게 몽키 패치로 처리할 수밖에 없었습니다. 추후에 추가 개선을 진행하면서 다시 한번 도전해 볼 예정입니다.

이후에는 AMD의 ROCm 구현, Intel의 oneAPI 구현을 통해 CUDA 이외에 다른 플랫폼에서도 각각 검증을 진행해 볼 예정입니다. 또한 현재도 단일 커널로 Multi-Head Attention을 처리하여 Flash Attention과 비슷한 효과를 내고 있으나 GEMM 연산이 아닌 GEMV 연산을 수행하여 다소 비효율적으로 동작하는 문제가 있습니다. 추후에는 이 부분을 개선하여 Flash Attention을 정확하게 구현해 볼 예정입니다.

모델 구조와 UTF-8 토크나이저 구현은 안드레이 카파시가 지난번 llama2.c에 구현한 것을 대부분 사용했으며 CUDA 구현은 포틀랜드의 CUDA 전문 프로그래머인 rogerallen이 구현한 커널을 활용했습니다. 이외에 초창기에 인도의 ankan-ban이 구현한 CUDA 커널도 많이 참고하였습니다.

전 세계 오픈소스 커뮤니티의 도움으로 저 또한 간결하게 CUDA 구현을 마무리할 수 있었습니다. 많은 도움을 받았던 만큼 저 또한 코드를 공개하여 오픈소스 혁신이 전 세계에 이어질 수 있도록 보탬을 더해봅니다. 많은 분들에게 도움이 되길 바랍니다.

mamba의 numpy 구현이 나왔네요.

댓글