카카오엔터프라이즈 기술블로그 Tech&(테크앤)

시작하며
연구자와 개발자 뿐만이 아닌, 일반 소비자들이 직접 사용해볼 수 있는 초거대 AI 모델 기반의 서비스들이 점차 더 많이 등장하고 있습니다. ChatGPT로 인한 생성형 AI의 급부상 이후 현재까지도 트렌드의 모멘텀이 지속됨에 따라 기술 기업들은 이제 본격적으로 어떻게 이와 같은 초거대 AI 모델들을 많은 사용자들이 장기적으로 사용할 수 있도록 유지하고 보수할 것인가에 대한 고민을 하기 시작하고 있습니다. 그럼, 아래 금주의 소식들을 살펴보며 어떤 소비자향 AI들이 출시되고 있는지, 그리고 이러한 시장의 변화에 따라서 효율성에 초점을 맞추기 시작한 기업과 연구자들의 소식들을 함께 살펴보겠습니다.
초거대 AI, 사용 대상은 연구자에서 소비자로 
ChatGPT를 기점으로 초거대 AI는 더 이상 연구자, 개발자들만을 대상으로 GitHub, Arxiv에 논문이나 코드의 형태로 발표되고 있는 것이 아닌, 비개발자들을 포함한 일반 소비자들을 향하는 것이 시장의 추세인것으로 보여집니다. 금주에는 모델의 파라미터 수를 키우며 성능을 높이는 것 보다, 초거대 AI 모델 기반의 서비스를 지속하기 위해 비용적, 에너지적 등 다방면에서 어떻게 효과적으로 모델을 학습 및 실행시킬 수 있을지에 대한 연구자들의 고민들이 돋보였습니다.
Hugging Face의 ChatGPT 오픈소스 대안, Hugging Chat
오픈소스 모델 및 데이터 세트 공유 플랫폼이자 커뮤니티인 Hugging Face (허깅페이스)가 ChatGPT의 오픈소스 대안, Hugging Chat을 발표하였습니다. 이 서비스는 저번 주의 글에 공유드렸던 Open Assistant와 매우 유사해 보인다고 생각이 들었는데요. 실제로 Open Assistant 프로젝트 관계자들이 개발했기 때문이라고 합니다. 여기에서 Hugging Chat은 Open Assistant와는 달리 별도의 로그인 절차가 요구되지 않아 부담 없이 자유롭게 사용해볼 수 있습니다. LLaMA 30B를 기반으로 작동하며, 이메일 드래프팅, 작사, 그리고 코드 작성까지 ChatGPT에서 가능했던 주요 태스크를 수행할 수 있습니다.
 
Runway, video-to-video 생성형 AI를 모바일에서 제공
생성형 AI 스타트업 Runway가 모바일 앱 'RunwayML'을 출시하여 사용자가 자사의 생성형 AI 'Gen 1'을 컴퓨터가 아닌 폰으로 사용해볼 수 있게 하였습니다. Gen-1은 기존의 영상을 텍스트, 이미지, 또는 영상 인풋을 통해 양식을 변형할 수 있게 해주는 모델인데요. Style transfer와는 또 다르게 필터를 적용하는 것이 아닌, 구성 요소는 유사하되 형태가 전혀 다른 새로운 영상을 생성해준다는 것이 특징입니다. 비용적, 성능적 측면의 한계점이 존재하지만, 이제 소비자들이 텍스트, 이미지 생성에 이어 더 무겁고 복잡한 데이터를 다루는 영상 생성형 AI까지 모바일로 쉽게 접해볼 수 있게 되었다는 것은, 초거대 AI가 한 발짝 더 소비자들의 곁에 가까워졌음을 시사하고 있습니다.
타사 AI칩에 대한 의존도와 비용을 낮추고자 하는 빅테크 기업들
저번주에는 기존에 자체 AI 전용 칩이 없었던 마이크로소프트까지 자체 AI 칩을 개발하는 대열에 합류하였습니다. 높아지는 AI 학습 및 추론 비용에 따라 자체 개발 칩, ‘아테네’의 위탁 생산에 박차를 가하는 것인데요. MS의 자체 AI 칩 개발 및 위탁생산 계획 소식에 이어서 금주에는 구글, 메타와 같은 주요 빅테크들이 AI 전용 칩 자체 개발 전략을 검토하고 있다는 소식을 접할 수 있었습니다.
구글 클라우드로 AI 칩 핵심 부서를 이동한 구글
MS는 ChatGPT와 같은 거대 언어 모델, 그리고 ChatGPT Plugin등을 기반으로 한 비즈니스 태스크 자동화, AWS는 자체적으로 생성형 AI를 출시하고 자사의 비즈니스와 결합할 것이라고 저번 주에 밝힌 바 있습니다. 그리고 금주 구글에서는 Azure, 그리고 Amazon의 AWS에서 제공될 것으로 예상되는 AI 기반 소프트웨어와 경쟁을 하기 위해 구글 본사에서 AI 칩을 담당하는 엔지니어링 팀을 구글 클라우드로 이동시켰다고 합니다.
메타, 칩 전략 검토를 위해 MS의 칩 임원을 고용
MS에서 실리콘 엔지니어링 기업 부사장을 맡고 있는 Jean Boufarhat가 메타의 Facebook Agile Silicon Team(FAST)을 운영에 합류한다는 소식이 전해졌습니다. 메타가 자사의 실리콘 전략 개편을 고려하고 있는 것인데요. 메타는 현재 개발 중에 있는 다양한 하드웨어 장치, 그 중에서도 특히 AR 글래스에 탑재될 칩을 제공하기 위해 타사의 제품에 대한 의존도를 낮추려는 것을 목표로 하고 있다고 합니다.
AI 모델의 성능 확장을 돕는 메커니즘
작년 2022년도에 발표된 RMT (Recurrent Memory Transformer, 반복 기억 트랜스포머) 아키텍쳐를 구글의 거대 언어 모델, BERT에 적용하여 보다 AI 모델에 GPT-4와 같은 SOTA 트랜스포머 모델 보다 더 월등한 기억 능력 (저장 가능한 토큰 갯수)을 기록한 연구가 공개되었습니다. 기반 모델을 변형하지 않았음에도 제한된 토큰 갯수를 대폭 늘릴 수 있었다고 합니다.
 
RMT 메커니즘 : GPT-4, CoLT5보다 월등한 기억 능력 발휘
2022년에 발표된 RMT를 간단하게 설명하면 RNN과 Transformer 아키텍쳐를 조합한 것으로, GPT 계열의 모델과 같은 오늘 날의 주요 거대 언어 모델들의 기반이 되는 Transformer 아키텍쳐의 메모리, 즉 입력 가능 한 토큰 (자연어 단위로, 텍스트의 양을 계산할 때 사용된다)의 갯수 제한을 극복하고자 제안된 메커니즘입니다. 이번 달 게재된 논문에서는 구글의 BERT 모델에 RMT 메커니즘을 적용하였을 때 인퍼런스 (학습을 마친 AI 모델을 실제 태스크 수행에 투입시키는 과정) 단계에서 총 204만개의 토큰으로 기존에 구성된 메모리를 보다 효과적으로 활용할 수 있다는 것을 입증하였는데요. 이는 현시점에서 발표된 것 중에서 가장 크다고 알려진 CoLT5 (6만 4천 토큰), 그리고 GPT-4 (3만 2천 토큰) 보다도 월등하게 높은 숫자입니다. RMT는 이와 같이 기존 아키텍쳐 (모델이라고도 칭합니다)에 바로 적용하는 것만으로 메모리 크기를 늘리지 않고도 'Recurrent Memory (반복 기억) 방식'으로 AI 모델의 성능을 향상시킬 수 있다고 하며, 하드웨어 (전용 칩) 외에도 메커니즘만으로도 같은 리소스 대비 더 좋은 성능을 낼 수 있는 새로운 효율성 제고의 가능성을 보여주고 있습니다.
 
아쉽게도 현시점에서 RMT 아키텍쳐를 활용하게되면 기억 능력은 향상되지만, 답변의 퀄리티가 낮아지고 인퍼런스에 소요되는 시간이 길어진다는 단점이 있습니다. RMT를 아직 혁신이라고 일컫을 수준은 아니지만, 향후 해당 아키텍쳐를 기반으로 현재 많은 사용자들의 거대 언어 모델 기반의 서비스 개발 및 사용 시 부딪히는 토큰 갯수 제한에 대한 해결책이 나올 수 있을 것으로 기대합니다.
거대 언어 모델을 중심으로 생겨나는 방지책과 규제
할루시네이션으로 인한 거짓 정보의 확산, 학습 데이터에 대한 권리 주장 등 거대 언어 모델을 중심으로 우려가 멈추지 않고 잇습니다. 이에 OpenAI와 Nvidia가 이러한 문제점들을 인식하고 관련하여 방지책과 규제들을 발표하며 이러한 논란들을 완화하려고 있는데요. 방지책과 규제를 통해 기업들은 AI 윤리를 강화하며 연구 커뮤니티에 기여할 뿐만 아니라, 기업 이익에 치명타를 줄 수 있는 소송, 브랜드 이미지 훼손 등을 사전에 방지하는 효과를 기대할 수 있을 것으로 보여집니다. 
 
Nvidia, 거대 언어 모델의 할루시네이션을 방지할 수 있는 'NeMo Guardrails' 오픈소스 툴킷 공개
GPU 리더 Nvidia가 거대 언어 모델 기반의 시스템의 할루시네이션을 방지하기 위한 오픈소스 툴킷 'NeMo Guardrails (니모 가드레일)을 공개했습니다. 이 툴킷은 모델이 정치, 특정한 대화 스타일, 사전 정의된 대화 등 할루시네이션을 야기할 수 있는 요소들을 결과값에 포함하지 않도록 기반 모델의 답변 과정을 재정의하여 일명 'canonical form (정식 형태)'의 결과값이 나올 수 있게 한다고 합니다. 이와 같은 툴킷을 통해 보다 신뢰할 수 있고 안전한 거대 언어 모델 대화 시스템을 제공할 수 있을 것이라고 합니다.
OpenAI, 기업을 위한 구독 플랜, 그리고 Data Control 기능 발표
OpenAI가 ChatGPT의 기업 고객을 대상으로 새로운 구독 티어, ‘ChatGPT Business’를 소개할 계획이라고 발표했습니다. ChatGPT Business는 OpenAI의 API 데이터 사용 규제를 준수하여 엔드 유저, 즉 기업 구성원의 데이터가 OpenAI의 모델 훈련을 위해 수집되지 않아, 특히 데이터 수집이 민감한 기업 고객의 니즈를 충족하고자 하고 있습니다. 뿐만 아니라, 이제는 ChatGPT의 설정 메뉴에서 채팅 기록 및 학습을 위한 데이터 수집 기능을 끌 수 있는 옵션이 제공된다고 합니다. 'Chat History & Training' 토글을 꺼두면, 대화 내용이 좌측 사이드바에 기록으로 남지 않는 것을 확인 할 수 있고, 설정 하단의 'Export data'를 누르면 OpenAI가 사용자로부터 수집한 데이터를 파일로 다운 받아볼 수 있게 되었습니다.
데이터 유료화 움직임의 확산 
오늘 날 데이터는 기술 기업의 경쟁력을 대변합니다. AI 모델의 성능을 좌우하는 주요 요인이 되기 때문입니다. 이런 상황 속에서, 개발자 커뮤니티 스택오버플로우가 레딧과 트위터에 이어 AI 개발자를 대상으로 데이터 유료화에 동참하였습니다. 기존에 OpenAI, Meta, Google 등 빅테크 기업들은 웹에 게재된 모든 데이터를 스크래핑하여 아무런 비용 지불 없이 자사의 거대 언어 모델의 학습 데이터로 활용해왔고, 이렇게 학습된 모델을 서비스화하여 유료 구독 서비스로 판매하고 있습니다 (예: 코드 자동 생성을 지원하는 GitHub의 Copilot의 경우 스택 오버플로우와 같은 커뮤니티로부터 무료로 데이터를 스크래핑하여 모델을 학습 시킨 후, 이를 서비스화하여 수익을 창출하고 있습니다).
 
레딧, 트위터, 그리고 스택 오버플로우와 같은 대형 커뮤니티들은 빅테크의 거대 언어 모델에 데이터를 기여한 커뮤니티들이 보상을 받아야 번성할 수 있다고 주장하고 있습니다. 향후 이러한 기업들의 데이터 유료화 움직임에 힘 입어 더 많은 단체들이 데이터를 귀중한 자산으로 인식하고 빅테크 기업들로부터 유료화와 같은 방식을 통해 보호하는 사례가 더 많아질 것으로 전망됩니다. 동시에 AI 모델 연구자들과 기업들은 데이터를 어떻게 하면 더 비용 효율적으로 수급받을 수 있을지에 대한 고민이 깊어질 것으로 예상됩니다.
이번 주의 인사이트
시간을 거듭하며 점차 연구자가 아닌, 소비자를 향한 AI 서비스들이 더 많이 공개되고 있는 것으로 보여집니다. 초거대 AI를 더 넓은 범위의 사용자들이 로컬 디바이스에서 사용할 수 있게 됨에 따라 기업들은 이러한 서비스들을 어떻게 하면 더 장기적으로 안정적이게 자원 효율적으로 운영할 수 있을지에 대한 방안을 본격적으로 고민하기 시작하고 있습니다.
 
초거대 AI, 연구자향에서 소비자향으로
ChatGPT의 성능을 추월할 것으로 기대되며 연일 화제가 되고 있는 GPT-4기반 오픈소스 실험, Auto-GPT. 개발자, 연구자들 사이에서는 굉장히 많이 회자가 되고 있지만 실상 그 이상으로 ChatGPT와 같이 일반 대중 사이에서는 회자가 되고 있지 않는 것같아 보입니다. Auto-GPT를 사용해보기 위해 프로그램 설치, 코드 입력 등 일반 대중에게는 다소 생소한 작업들이 동반되기 때문입니다. 이제는 아무리 AI 모델 또는 서비스가 많은 잠재 가능성을 가지고 있다고 해도, 연구자뿐만 아니라 일반 사람들도 손 쉽게 써볼수 있게 하지 않는 이상 ChatGPT와 같은 파급 효과를 누릴 수 없다고 생각됩니다. 이에 개인과 기업들이 연구 결과를 논문, 설치 패키지의 형태가 아닌 소비자 누구나 바로 사용해볼 수 있게 연구 결과를 서비스화를 하려는 노력이 돋보이고 있으며, 향후 더 많은 초거대 AI 모델들이 연구자향에서 소비자향으로 발표될 것으로 기대됩니다.
이제부터는 모델 규모가 아닌 '효율'이 관건
 
OpenAI의 CEO 샘 알트먼은 MIT의 한 이벤트에서 "거대 언어 모델의 시대는 이미 끝났다"고 언급하며 "우리는 이제 이 모델들을 다른 방향으로 더 좋게 만들 것이다" 라고 하였습니다. Cohere의 공동 창업자 Nick Frosst는 알트만의 의견에 덧붙여서 새로운 모델 아키텍쳐 (디자인이라고도 칭함) 를 고안하고, 인간 피드백 기반의 파인튜닝을 더 많이 하는 것이 앞으로 AI 분야에서 더 중요해질 것이라고 하였는데요. 점차 AI 모델들이 연구자, 개발자를 대상으로 공개되는 것을 넘어 일반 대중들이 사용해볼 수 있는 서비스로 출시됨에 따라 AI 시장 플레이어들은 일반 사용자들이 로컬에서 실행할 수 있는 초거대 AI 모델 기반 서비스를 장기적으로 안정적이게 운영해야하는 과제에 직면하게 되었습니다. 이에 금주에는 자체 칩 개발 전략 검토, 기존 아키텍쳐의 성능 확대를 위한 새로운 메커니즘 적용, 규제 설립 등 초거대 AI 모델을 일반 소비자 대상으로 서비스하기 위한 기업과 연구자들의 노력이 돋보였는데요. 최신 소식들을 종합하여 보았을 때 이제 AI 시장에서는 더 이상 모델의 규모가 아닌, 어떻게 하면 현존하는 초거대 AI 모델을 연구자뿐만 아니라 모든 소비자들을 대상으로 효율적으로 제공할 수 있을 것인지가 관건인 것으로 보여집니다. 
 
written by Sarah
기술인사이트파트
새로운 기술과 시장 트렌드를 발굴하여 카카오엔터프라이즈 내외부로 인사이트를 공유하는 것을 목표로 합니다.
(문의: tech.insight@kakaoenterprise.com)

[IT TREND] 초거대 AI 최신 키워드 : #소비자 #효율

댓글