영문으로 소개 글을 하나 더 작성해서 LocalLLaMA 게시판 1등으로 올라갔습니다. 주말 동안 해킹한 결과 치고는 나쁘지 않은 성과네요 ^^

More you might like

5월은 종합소득세 신고의 달입니다.

몇 년 전부터는 기타 소득까지 전부 사업 소득으로 잡혀서 세금이 제법 나오는 편인데, 다행히 홈택스가 좋아져서 마음만 먹으면 5분 만에도 신고를 끝낼 수 있는 세상입니다. 그래서 세무사들이 이제 일자리 다 잃는 거 아니냐며 걱정들을 하시는데, 사실 문제는 그게 아니죠.

3년 전쯤에 이런 일이 있었습니다. 나름대로 성실하게 세금 신고를 마쳤습니다. 그런데 6개월쯤 있다가 과소 신고로 추징금 폭탄을 안겨주더라고요. 열심히 세금 규정 읽어보고 정말 성실하게 신고했는데 왜 이런 일이 생기는 건지. 국세청에 전화해서 하소연해봐야 소용이 없었습니다. 저 같은 민원이 한둘이 아닌지 국세청 직원도 능숙하게 대응하더라고요. 결국 말도 안 되는 금액을 세금으로 납부할 수밖에 없었죠.

세무 분야의 AI와 기술의 발전은 세무사를 편하게 하는 것입니다. 저처럼 세무 지식이 없는 일반인들에게 세금을 줄여주는 기술이 아닌 거죠. 생각해 보면 다른 분야도 비슷합니다. 의료 AI의 발전은 의사를 편하게 하는 것이지, 일반인들이 마음대로 의학적 판단을 내릴 수 있는 기술이 아닙니다. 개발 분야도 마찬가지죠. Coding Assistant는 개발자가 편리하게 코딩할 수 있도록 도와주는 기술이지, 개발을 전혀 모르는 일반인이 그걸로 갑자기 프로덕트를 개발해서 출시할 수 있는 건 아니죠.

그래서 매 년 세무사에게 종합소득세 신고를 맡기고 있습니다. 올해도 당연히 맡겼고요. 아마 기술이 발전해서 세무사들은 점점 더 편리하게 신고할 수 있을 것이고 덩달아 소득도 증가할 거예요. 물론 저 또한 경비 지출 내역을 최대한 쉽게 정리하고자 기술을 활용하고 있습니다. 아예 파이썬 스크립트를 만들어 주피터 노트북으로 돌려서 자동화했죠. 카드사에서 1년 치 사용 내역을 액셀 파일로 추출한 다음 그걸 Pandas에 올려서 자동으로 장부를 작성하게끔 처리했습니다. 1년 치 장부를 정리하는 데 걸리는 시간은 고작 30여 분 내외죠. 이 정도면 세무사나 저나 기술의 발전으로 생산성을 높이고 함께 윈윈 하는 것이지, 어느 한쪽이 불필요한 건 아니죠.

간밤에 메타에서 드디어 라마3를 공개했습니다. 역시나 기대했던 대로 압도적인 스케일과 성능을 자랑하네요. 2만 4천 장의 GPU, 15T 학습 데이터, 1천만 건의 인스트럭션 데이터, 1.3M GPU hours, 모든 게 압도적입니다. 당연히 벤치마크 성능도 대단합니다. 8B 모델이 기존 성능을 다 뛰어넘었고 70B는 상용 API보다 좋네요. Vocab Size도 128K라서 드디어 한글이 제대로 들어갔지만 아쉽게도 한글 학습은 많이 부족한 걸로 보입니다. 국내에서 사용하려면 누군가 한국어 트레이닝을 추가로 많이 해줘야 할거 같습니다. 학습 토큰에 대해 부연 설명을 드리자면 기존 최대치였던 미스트랄의 8T 보다 2배 수준이고, 구글이 색인하고 있는 문서가 2020년 기준 400B 수준입니다. 문서 하나를 100토큰으로 가정하면 ‘구글이 전 세계 인터넷을 돌아다니며 색인한 전체 문서 수의 1/3 가까이를 이번 라마3 모델에 투입했다'고 봐도 무방할 거 같습니다. 당연히 학습 시간도 130만 시간으로 기존 보다 10배 가까이 늘어났습니다만 이미 2만 4천 장의 GPU를 단일 클러스터로 묶어서 처리하고 있기 때문에 이틀이면 학습이 끝나겠네요. 재밌는 사실은 모델 구조는 변하지 않았다는 점입니다. 물론 모든 모델이 GQA를 사용하는 구조로 바뀌었지만 이건 지난 라마2때도 70B에는 이미 적용했던 거기 때문에 사실상 모든 성과는 데이터와 인프라로 이뤄낸 거라 볼 수 있습니다(모델에 투입된 인프라는 지난번 발표자료에서 정리한 적이 있는데요. 이번 라마3 내용을 추가해서 첨부합니다). 400B 모델은 아직 학습이 진행 중이라고 하는데 이건 또 얼마나 대단할지 벌써부터 기대가 큽니다.

입으로 인공지능 얘기하는 곳 말고 ^^ 진짜 손으로 만들어 내는 인공지능 기업 블로그 5군데를 소개합니다. 저는 이곳을 매일 방문해서 최신 글이 올라오면 빠짐없이 정독합니다.

NVIDIA 기술 블로그
PyTorch 블로그
Hugging Face 블로그
Microsoft Research 블로그
Google Research 블로그

평소에 책을 좋아하다 보니 트레바리 독서 모임에 종종 참여하는 편입니다. 이번에는 좋은 기회가 되어 클럽장으로 모임을 직접 운영하게 됐습니다. 주제는 책 제목과 비슷한 ‘비전공자도 이해할 수 있는 AI'입니다 ^^

https://m.trevari.co.kr/product/d57aee14-2ef7-48db-b958-ee380f91c322

'인공지능은 인류의 종말을 초래할까'와 같은 철학적, 윤리적 관점의 논의 보다는 인공지능 알고리즘을 객관적으로 바라보며, 동작 원리를 이해하고 어떻게 하면 일상에서 잘 활용할 수 있을지 토론하는 것을 지향합니다. 선정한 책은 다음 4권입니다.

비전공자도 이해할 수 있는 AI 지식
알고리즘, 인생을 계산하다
딥 씽킹
수학의 쓸모

아직 몇 자리 남아있으니 관심 있는 분들의 많은 참여 바랍니다 ^^

창의력을 높이기 위해 걸으면서 얘기하는 건 좋은 아이디어라고 생각합니다. 다만 그냥 밖에 나가서 걸으면 될 것을 굳이 저렇게까지 해야 하나 싶네요.

예전 회사 기억을 떠올려 보면 가장 창의적일 때가 담배를 피우러 나갈 때였어요. 담배를 피우면서 옆 팀 팀장님과 우연히 마주쳐서 업무가 잘 진행되는지 서로 얘기하다 보면 ‘아, 그거 같이 해보면 좋겠다’ 식으로 새로운 일이 진행될 때도 있죠. 건강에 전혀 도움 안 되는 담배가 유일하게 도움 될 때가 바로 이 같은 창의적인 업무 진행이었습니다. 드라마 '미생'에서도 보면 옥상에서 담배 피우면서 참 많은 일이 진행되는 모습이 잘 나타나있죠. 그때야 대부분이 담배를 피우던 시절이지만 요즘은 더 이상 담배 피우는 사람도 없고, 저 또한 담배를 끊었기 때문에 이제 그런 자리가 사라져 버린 게 가장 아쉬운 점입니다.

제가 초기에 직장 생활할 때와 비교해 보면 요즘 회사라는 공간은 정말 삭막한 공간이 되었습니다. 요즘은 회사에서 거의 말을 안 하죠. 서로 사생활에 관한 얘기는 자제하고, 담배 피우러 나가서 잡담을 하는 것도 아니고, 할 얘기가 있어도 슬랙으로 메시지를 보내고 마니까요. 직접 얼굴을 보면서 대화를 나눌 기회가 거의 없습니다. 심지어 할 얘기가 있으면 미리 일정을 잡고 회의실을 예약해야 한다고 하니 이제 회사라는 공간에서 가볍게 잡담을 나눌 수 있는 기회가 사라져 버렸습니다.

예전에는 그냥 담배 피우러만 나가도 무작위의 사람들과 충분히 창의적인 대화를 할 수 있었습니다. 그러나 어느덧 화상 미팅을 하면서 걸어 다니는 발판까지 등장해야 겨우 창의적일 수 있는 시대가 된 거 같네요.

<비전공자도 이해할 수 있는 AI 지식>이 2023년 우수 도서로 선정되어 얼마전에 중앙일보에 전면 광고도 나갔고, 오늘 시상식이 열려 정진호 작가님이 직접 참석하셔서 상패도 받아오셨습니다 ^^

42dot LLM은 리더보드 용도로 파인튜닝한게 아니기 때문에 점수는 낮지만, 실제로 써보면 성능은 매우 뛰어난 걸 확인할 수 있습니다. 320장의 GPU로 약 1주일 동안 PLM부터 시작해 바닥부터 끝까지 모두 직접 학습한 모델입니다. 이렇게 많은 분들이 직접 사용해보면서 성능을 알아주시니 뿌듯하네요! 👍

42dot LLM에 대한 소개 글이 회사 공식 블로그에 올라왔습니다. LLM의 구조가 어떻게 되어 있고, 어떻게 만들었는지 그 과정을 일반인도 이해할 수 있는 수준으로 매우 쉽게 설명하였습니다. 한번 보시면 도움이 될거 같습니다.

참고로 퇴사 직전까지 제가 직접 작성하고 나온 글인데요. 비록 이제는 함께하지 않지만 국내 최초의 한영통합 언어 모델 LLM을 빌드하고 공개했던 자랑스러운 과정을 함께할 수 있어 무척 영광이었습니다. 오래도록 기억에 남기겠습니다.

이번 GTC에서 발표한 GB200 NVL72 상세 스펙을 보면 GPU 72장을 하나로 묶어서 13.5TB까지 메모리 활용이 가능합니다. 기존에는 최대 80GB여서 GPT-4 스케일(220Bx8=1.8T)을 half precision으로 돌려도 45장, full precision은 90장이 필요했는데 이제 이 모든 걸 한 대에 돌려도 충분히 여유가 있는 거죠. 단순히 계산해 보면 GPT-4보다 2배 더 큰 모델도 full precision으로 문제없이 돌릴 수 있습니다. 당연히 parallel로 인한 병목도 더 이상 걱정할 필요가 없고요. 기존에는 이 병목을 좀 줄여보겠다고 GPU끼리 nvlink로 묶고, 노드 간에는 infiniband로 묶는 등 갖은 노력을 했죠. 하지만 아무리 그래도 단일 GPU의 속도는 따라갈 수가 없었습니다. 제가 A100 사용할 때 HBM 속도가 1.9TB/s나 나오는 걸 보며 ‘정말 빠르구나'하고 감탄했는데, 이제는 GB200에 기본으로 탑재되는 HBM3e가 16TB/s가 나오니 8배 더 빠르고요. 지금 소개하는 GB200 NVL72에는 576TB/s라고 스펙에 나와있습니다. 이 정도면 기존 A100보다 300배나 더 빠른 건데 정말 엄청난 속도네요. 물리적으로는 GPU 간 통신을 하는 형태로 보이는데 그래서 nvlink는 계속 유효한 거 같습니다만 이 또한 스펙상 속도가 130TB/s로 나와있으니 웬만한 HBM보다도 훨씬 더 빠릅니다. 무엇보다 기존에 inference에 최적화 한 칩을 만들던 회사들이(Groq 등) 좀 난감할 거 같네요. 아마 빅테크 등 기존에도 H100을 수 천, 수 만 대 단위로 주문하던 회사들은 당연히 NVL72를 구매해서 추론을 할거 같고요. 국내 기업들도 웬만한 대기업은 충분히 구매해서 추론을 시도해볼 거 같습니다. 역시 NVIDIA는 조용히 있다가 이런 걸 적절한 타이밍에 터트려 대니 당분간은 꾸준히 업계를 선도할 것으로 보입니다.

영문으로 소개 글을 하나 더 작성해서 LocalLLaMA 게시판 1등으로 올라갔습니다. 주말 동안 해킹한 결과 치고는 나쁘지 않은 성과네요 ^^

댓글