카카오엔터프라이즈 기술블로그 Tech&(테크앤)

시작하며
최근 4차 산업혁명을 앞당겨온 주역은 빅데이터 분석과 AI, 클라우드 기술이라고 할 수 있습니다. 데이터센터는 더 이상 IT 기업의 전유물이 아닌 모든 기업의 인프라가 되어가고 있으며, AI와 빅데이터 분석은 빠르게 발전하여 다양한 서비스에 적용되고 있습니다. 하지만 갈수록 AI 기술이 보편화되면서 "현재의 서버가 전국, 나아가 전 세계의 사용자를 감당할 수 있는가"라는 이슈가 떠오르게 되었습니다. 데이터센터가 이를 해결하고, 세계적인 인프라로 거듭나기 위해 커다란 변화가 요구되는 시점입니다.
 
이러한 변화의 중심에 있는 기술이 바로 AI 반도체로, 앞으로는 AI 서비스가 산업 곳곳에 접목되면서 AI 반도체 기반 서버가 핵심 인프라가 될 것으로 예상됩니다. 가트너에 따르면 AI 반도체 시장은 2023년 343억 달러(약 40조) 규모가 될 것으로 보이며, 연평균 16%씩 성장해 2030년에는 980억 달러 규모로 커질 전망이라고 합니다.
 
이번 포스팅에서는 AI 반도체가 무엇인지, 왜 AI 반도체가 필요하며 앞으로 어떻게 발전할 수 있는지를 소개해 드리고자 합니다. AI 반도체 시장의 주요 플레이어를 살펴보고, AI 반도체 시장에 있어서 CSP 기업의 역할이 무엇인지, 앞으로 어떤 과제를 해결해야 하는지 알아보겠습니다. 그리고 마지막으로 카카오엔터프라이즈에서는 AI 반도체를 어떻게 데이터센터에 적용하고 있는지에 대해서도 간단하게 말씀드리도록 하겠습니다.  
 
AI를 위한 반도체
AI 반도체는 심층인공신경망(Deep Neural Network, DNN)을 사용하여 AI 연산을 가장 효율적으로 처리하기 위한 고성능 반도체 칩입니다. 학습과 추론을 구현하기 위한 데이터 연산 처리를 저전력 및 고속으로 처리하는 등 AI 데이터 분석 측면으로 특화된 것이 특징입니다. 
AI 반도체가 기존의 반도체와 무엇이 다르며 AI 반도체가 왜 필요한지, AI 반도체는 어떤 방향으로 발전하고 있는지 알아보겠습니다.
AI 반도체는 왜 필요한가
 
 
1) AI 연산에 최적화된 반도체
AI 반도체가 필요한 첫 번째 이유는 대량의 데이터를 동시에 처리해야 하는 AI 연산의 특징 때문입니다. 기존 시스템 반도체인 CPU(중앙 처리 장치; Compute Processing Unit)는 데이터를 순차적으로 직렬 처리하여 대규모 병렬 처리 연산이 필요한 AI에 적합하지 않습니다. 때문에 데이터 병렬 처리가 가능한 GPU(그래픽 처리 장치; Graphic Processing Unit)를 주로 사용하고 있는데요. GPU는 AI가 아니라 그래픽 렌더링 목적으로 만들어진 카드이기 때문에 필요한 양보다 많은 전력 소비와 비용이 발생하게 됩니다. 
AI 시스템 반도체인 NPU(신경망 처리 장치; Neural Processing Unit)를 사용할 경우 병렬 연산이 가능할 뿐만 아니라 AI 알고리즘에 최적화되어, 연산의 성능도 높이고 에너지 소모를 획기적으로 줄일 수 있습니다. 
 
 
2) 프로세서-메모리 간 데이터 전송을 줄여 병목 해소
두 번째 이유는 프로세서와 메모리 간의 데이터 전송을 줄이기 위해서입니다. AI 연산은 모델 파라미터, 입력 데이터, 연산 도중에 만들어지는 특성 벡터(feature vector)[각주:1] 등 용량이 큰 데이터들이 메모리와 프로세서를 오고 가면서 이루어지는데요. 메모리와 프로세서 사이에 오가는 데이터 크기가 줄어들면 시간과 전력 소모를 줄일 수 있습니다. AI 반도체에서는 크기가 큰 데이터의 연산을 메모리에서 먼저 수행한 후 프로세서에 전달하여 메모리 전송에 의한 병목을 제거합니다. 
AI 반도체의 발전 방향
AI 반도체는 시스템 반도체(프로세서, Processor라고도 칭함)와 메모리 반도체, 두 개의 계보로 나뉘어 개발되고 있으나 최종적으로는 뇌를 모방한 뉴로모픽(Neuromorphic) 반도체를 목표로 하고 있습니다.
 
 
1) 시스템 반도체의 발전 : FPGA와 ASIC
AI 시스템 반도체는 현재 FPGA(Field-Programmable Gate Array)와 ASIC(Application-Specific Integrated Circuit) 방식이 대표적이며, 그중 ASIC 방식이 주로 개발되고 있습니다. FPGA는 칩 내부의 하드웨어를 목적에 따라 재프로그래밍할 수 있어 AI 연산에 맞게 재설계가 가능합니다. ASIC은 특정 목적에 맞춰 제작된 주문형 반도체로 특화된 연산을 수행할 때 사용되어 효율성이 높은 것이 특징입니다. 
 
2) 메모리 반도체의 발전
최근 메모리 반도체는 메모리 내에 연산과 병렬 처리 기능이 구현되어 있는 Processing-in-memory(PIM) 구조의 반도체 개발이 진행되고 있습니다. PIM 구조를 구축하면 프로세서와 메모리 간 데이터 이동을 줄여주어 연산 가속과 에너지 효율을 높일 수 있습니다. 2020년에 대만의 TSMC가 SRAM PIM을 선보였으며, 같은 년도에 국내에서는 DRAM과 NVM(Non Volatile Memory; 비휘발성 메모리) RAM, SSD에 기반한 메모리가 개발되었습니다. 2022년에는 삼성전자와 SK 하이닉스도 PIM 개발에 성공하며 국내 메모리 반도체 시장의 경쟁력을 한 층 더 끌어올렸습니다. 
 
 
3) AI 반도체의 꿈 : 뉴로모픽 반도체
미래의 AI 반도체로는 계산 영역(뉴런, Neuron으로 비유)과 저장 영역(시냅스, Synapse로 비유)이 별도로 구분되어 있지 않고 유기적으로 연합되어 있는, 즉 생명체의 뇌를 모방한 뉴로모픽 반도체가 개발 중에 있는데요. 2017년에 인텔(Intel)에서 공개한 로이히(Loihi) 칩은 13만 개 이상의 뉴런과 1억 3000만 개의 시냅스 연결을 제공하여, 바닷가재의 뇌보다 조금 더 복잡한(인간의 뇌는 1000억 개의 뉴런과 100조 개 이상의 시냅스가 연결) 수준까지 도달한 반도체 칩을 선보이기도 하였습니다.
 
AI 반도체 시장의 주요 플레이어
반도체/클라우드/디바이스 기업과 스타트업
AI 반도체 시장에는 기존의 반도체 기업뿐만 아니라, 클라우드 기업, 디바이스 기업, 그리고 스타트업까지  뛰어들고 있습니다. 아래의 표에서 반도체, 클라우드, 디바이스, 그리고 스타트업 총 네 분야에서 어떤 기업들이 현재 AI 시스템 반도체 시장의 주요 플레이어들로 자리 잡고 있는지 확인하실 수 있습니다. 
  주요 플레이어
 
1) 스타트업 : NPU와 소프트웨어를 동시 개발
현재 스타트업들은 AI 반도체 개발에 두각을 나타내고 있으며 NPU와 그에 맞는 소프트웨어를 동시에 개발하며 시장을 공략하고 있습니다. 이 중 대부분은 직접 반도체를 생산까지는 하지 않고, AI 반도체 ‘설계’를 전문으로 하는 팹리스(Fabless)[각주:2] 업체입니다. 
 
2) 클라우드 기업 : 자체 설계한 AI 반도체 기반 컴퓨팅 서비스 제공
클라우드 기업들은 대개 자체 설계한 AI 시스템 반도체 기반의 클라우드 컴퓨팅 서비스를 제공하고 있는데요. 구글의 경우 텐서플로우(Tensor flow)에 특화된 TPU(Tensor Processing Unit)를 자체 개발하여 자사 데이터센터뿐 아니라 클라우드 서비스로도 제공하고 있습니다. AWS 또한 자체 설계한 추론용 반도체 인퍼렌시아(Inferentia)와 학습용 반도체 트랜티움(Trantium)에 기반한 컴퓨팅 서비스를 제공하고 있습니다.
 
3) 디바이스 기업 : 자사 디바이스를 위한 자체 개발 AI 칩 적용
애플, 화웨이, 삼성은 스마트폰에 적용하기 위한 자체 칩셋을 만들고 있습니다. 테슬라는 직접 개발한 AI 반도체를 자동차, 로봇 등 자율주행 알고리즘을 실행하는 디바이스에 적용하려는 시도를 하고 있습니다. 
 
4) 반도체 기업 : 인수합병을 통한 AI 반도체 시장 진출
기존의 반도체 기업들은 AI 반도체 분야에 뒤늦게 뛰어들어 스타트업 인수합병을 통해 체질 개선 중인데요. 이중에서도 인텔은 2019년 20억 달러에 하바나랩스를 인수, AMD는 FPGA 전문 회사인 자일링스를 인수하고 AI 반도체 시장을 노리고 있습니다. 
 
한국의 AI 반도체 : 리벨리온, 퓨리오사 AI, 사피온
한국은 스타트업 퓨리오사 AI, 리벨리온, 사피온 3곳이 데이터센터용 AI 반도체를 개발하고 있습니다. 
  한국의 데이터센터용 AI 반도체 주요 기업
  퓨리오사 AI
데이터센터와 엔터프라이즈 서버에서 AI 성능을 극대화할 수 있는 반도체를 개발 중
고성능 컴퓨터비전 태스크 수행을 타겟으로한 FPGA 칩 워보이(Warboy) 1세대를 개발, 양산 단계에 있음
워보이(Warboy)는 MLPerf 추론 분야에서 T4를 뛰어 넘음
  리벨리온
서비스에 특화된 ASIC 개발 회사로, 파이낸스용 AI 반도체 아이온과 데이터센터용 반도체 아톰(ATOMTM)을 개발(최근 아톰 출시)
아이온은 기존 GPU 대비 10배 이상 빠르며 ASIC 칩에 대해서도 50% 이상 빠른 성능 구현
23년 3월에 국내 최초로 자연어 처리에 특화된 서버용 AI 반도체 양산 예정
  사피온
SK텔레콤, SK하이닉스, SK스퀘어가 공동 출자해 미국 캘리포니아에 설립한 기업
데이터센터향 AI 반도체 개발에 집중하고 있으며, 사피온의 X220은 국내 최초로 상용화에 성공
GPU 대비 딥러닝 연산 속도가 1.5배 빠르고, 전력 사용량은 80% 수준이며, 가격은 GPU의 절반
NHN 클라우드에 AI 반도체 기반 클라우드 인프라를 구축
 
참고) 엣지용 AI 반도체 기업
본 글에서는 ‘데이터센터용' AI 반도체, 그리고 관련 주요 플레이어들을 살펴보았는데요. 데이터센터 용도 외에도 디바이스 단에서 연산을 처리하는 ‘엣지용’ AI 반도체를 설계하는 국내 기업들도 있으니, 주목해 볼 만합니다.
딥엑스 (Deep X)
수퍼게이트 (Supergate) 
아나플래시 (ANAFLASH)
뉴로센스 (Neuro Sense)
모빌린트 (Mobilint) 
오픈엣지테크놀로지 (Openedges Technologies Inc.)
AI 반도체 시장에서 클라우드 기업의 역할과 과제
AI 반도체가 개발된다고 해서 바로 클라우드 기업이 AI 반도체를 이용한 서비스를 제공할 수 있는 것은 아닙니다. AI 모델을 실제 하드웨어에서 연산할 수 있도록 하는 소프트웨어부터, 초거대 모델 학습을 위한 클러스터 구축, 그리고 온디맨드로 컴퓨팅 자원을 제공하기 위한 클라우드 컴퓨팅 기술과의 융합까지 이뤄져야 비로소 그 위에서 서비스를 개발할 수 있습니다. 
 
 
AI 반도체 데이터센터 구축부터 AI 플랫폼까지
이렇게 AI 반도체에서부터 고객에게 제공되는 서비스까지의 전 과정을 아우르는 기술, 서비스, 제품을 'AI 풀스택'이라고 하는데요.
AI 반도체-클라우드-AI 서비스로 구성된 AI 풀스택에서 클라우드 기업이 담당하는 범위는 AI 반도체를 기반으로 하는 인프라를 구축하고 가상화하여 온디맨드로 리소스를 제공하고, 쉽게 AI 서비스를 개발하고 운영할 수 있는 플랫폼을 제공하는 것까지가 될 것입니다.
다시 말해, AI 풀스택에는 하드웨어부터 AI 서비스까지 다양한 스택이 존재하는데, 이중 클라우드 기업은 클라우드/IDC 스택과 AI 플랫폼 스택에 해당합니다. 
 
  AI 풀스택 요소
1) AI 반도체 하드웨어
AI 반도체의 설계, 구현 및 양산
2) AI 반도체 소프트웨어
컴파일러 : 작성된 코드를 AI 칩에서 연산할 수 있도록 연산 명령어를 번역해주는 소프트웨어 스택
런타임 라이브러리 : 컴파일러에 의해 생성된 명령어를 하드웨어의 메모리에 저장하고, 저장된 명령어를 여러 연산기 리소스에 분배하여 차례로 수행할 수 있도록 해주는 소프트웨어 스택
3) 클라우드/IDC
AI 반도체 기반 서버와 스토리지, 네트워크, 등 컴퓨팅 자원
컴퓨팅 자원을 온디맨드로 제공하기 위한 클라우드 컴퓨팅 기술 스택
4) AI 플랫폼
AI 프레임워크: 모델 개발부터 배포까지 Pipeline 전체 단계를 쉽게 사용할 수 있도록 자동화된 툴킷(PyTorch, TensorFlow, Caffe, Theano 등)
IDE(개발환경): AI 발 관련된 모든 작업을 하나의 프로그램 안에서 처리하는 환경을 제공하는 소프트웨어(Jupyter, VS Code, PyChar 등)
AI 모델과 알고리즘: 주어진 문제의 데이터에 적합한 모델 구조와 모델을 학습하는 알고리즘
5) AI 서비스
AI 모델을 사용해 문제를 해결하는 애플리케이션 레벨
 
클라우드 기업의 과제
AI 풀스택을 완성하여 AI 반도체 기반 서비스를 상용화하기 위해 앞으로 클라우드 기업이 해결해야 할 과제들이 있는데요.
이를 정리해 보면 다음과 같습니다.
  클라우드 기업의 과제
1) AI 반도체 기반 서버 구축 및 AI 반도체 SW 검증
AI 반도체 기반 서버 구축
AI 반도체 소프트웨어인 컴파일러, 라이브러리와 AI 모델 병렬화 기술을 검증
이기종/다중 AI 반도체 지원을 위한 컴파일러 검증
2) AI 반도체 기반 클라우드 서비스 개발
AI 반도체 기반 자원의 가상화 및 컨테이너, 클러스터 기술 스택
3) 초거대 모델을 위한 AI 반도체 Farm 구축과 분산학습 SW 개발
초거대 AI 모델을 학습하기 위한 대규모 AI 반도체 서버 클러스터인 AI 반도체 Farm을 구축
 
마치며
ChatGPT 이후로 거대 모델을 서비스에 활용하고자 하는 수요가 증가하면서 클라우드 비용 절감에 대한 시장의 요구 사항이 늘어나고 있습니다. 이에 따라 AI 반도체에 대한 수요와 관심은 지속적으로 증가할 것으로 보입니다. 한국에서도 국산 AI 반도체 기반 데이터센터 구축과 서비스 개발을 위해 “K 클라우드 계획"을 발표[각주:3]했으며, 국내 AI 팹리스에 대한 투자 확대도 추진 [각주:4]하고 있습니다. 
 
한편 AI 반도체 시장에 많은 기업들이 뛰어들고 있지만 세상에 큰 영향을 끼치기까지는 아직 가야 할 길이 많이 남았습니다. 현재 대부분의 AI 반도체 기업들이 벤치마크를 통해 GPU 성능을 뛰어넘었다고 발표하고 있지만, 실제 사용자에게 도움이 되는 평가 기준을 제시하지 못하고 있습니다. 무엇보다도 벤치마크에서 사용하는 모델은 AI 알고리즘의 발전 속도를 쫓아가지 못하고 있습니다. GPU와 달리 AI 반도체는 특정 연산만 지원하는데, 실제 고객들이 원하는 최신 모델을 지원하지 못하고 있어서 AI 반도체로 실제 서비스를 운영하는 사례를 찾기 어려운 실정입니다. 
 
이에 카카오엔터프라이즈에서는 AI 반도체를 실제 서비스에 적용하는 실증 사례를 만들기 위해 노력해 왔으며, 지난해 11월부터는 카카오 i 클라우드에서 NPU 카드를 장착해 딥러닝 서비스를 실시간으로 제공하고 있습니다. 클라우드 인프라부터 하드웨어, AI 딥러닝 서비스까지 모든 기술 요소가 한국의 우수한 기술력으로 구성된 사례로, AI 반도체 업계에 가장 필요한 레퍼런스를 구현해 냈습니다. 앞으로도 카카오엔터프라이즈는 클라우드 기술 경쟁력과 비즈니스 전문성을 바탕으로 AI 반도체의 활용 사례를 늘려가고 K-클라우드 기술 발전에 기여하고자 합니다. 감사합니다.
 
Royce (최진원)
같은 기술도 다른 관점으로 접근해 세상을 바꾸는 테크 리더들을 보면서, 기술과 세상을 연결하는 방법에 관심을 갖게 되었습니다. 현재는 기술이 해결할 수 있는 문제에 초점을 맞춰 최신 기술을 바라보고 인사이트를 찾아 전파하는 일을 하고 있습니다.
Sarah (김민경)
세상의 다양한 가치를 재정의하는 최신 기술 및 시장 트렌드를 발굴하고, 이를 인사이트로 전환하여 전달해드리는 일을 하고 있습니다.

AI 반도체 시장에서 클라우드 기업의 역할

댓글