<div id="readability-page-1" class="page"><div _ngcontent-ng-c2558725128="" aria-busy="false" aria-live="polite" dir="ltr" id="model-response-message-contentr_bae964cf6235d76c" inline-copy-host="">AI 인프라 환경을 정의하는 두 가지 약어, 즉 GPU(Graphics Processing Unit, 그래픽 처리 장치)와 TPU(Tensor Processing Unit, 텐서 처리 장치)가 있습니다.엔지니어, 데이터 과학자 또는 이 분야를 탐색하는 기술 리더라면 기본적인 딜레마를 알고 계실 겁니다. 업계 표준(<a data-preview="" href="https://www.google.com/search?ved=1t:260882&amp;q=NVIDIA+GPU&amp;bbid=7673110288092522152&amp;bpid=6095351561863511128" target="_blank">NVIDIA GPU</a>)을 고수할 것인가, 아니면 강력한 대안(<a data-preview="" href="https://www.google.com/search?ved=1t:260882&amp;q=Google+TPU&amp;bbid=7673110288092522152&amp;bpid=6095351561863511128" target="_blank">Google TPU</a>)을 모색할 것인가?소프트웨어 또는 비즈니스 관점에서 답을 내리기 전에, 히트싱크(방열판) 아래에서 물리적으로 무슨 일이 일어나고 있는지 이해해야 합니다. 왜 이 칩들은 서로 다를까요? 왜 TPU는 때때로 더 적은 전력을 사용하면서 더 빠르게 숫자를 계산할 수 있을까요?이 글은 AI 실리콘 전쟁 3부작 중 1부입니다. 오늘은 그 엔진 블록을 살펴보기 위해 후드를 열어보겠습니다.<hr data-path-to-node="8"><h3>공통된 문제: 폰 노이만 병목 현상 (The Von Neumann Bottleneck)</h3>AI 칩이 왜 지금과 같은 모습을 하고 있는지 이해하려면, 먼저 표준 CPU(노트북에 들어 있는 것과 같은 중앙 처리 장치)가 딥러닝에 왜 형편없는지 이해해야 합니다.CPU는 최대의 유연성을 위해 설계되었습니다. 운영 체제를 실행하고, 웹 브라우저를 열고, 복잡하게 분기되는 로직(수많은 "if/then/else" 문)을 순차적으로 매우 빠르게 실행해야 합니다. 이를 위해 소수의 강력한 코어와 정교한 제어 로직을 가지고 있습니다.딥러닝은 정반대입니다. 딥러닝은 비교적 간단한 수학(대부분 숫자 곱셈 및 덧셈)을 수십억 번 병렬로 실행하는 작업과 관련이 있습니다. CPU에게 신경망 학습을 요청하는 것은 페라리를 사용하여 흙으로 된 산을 찻숟가락으로 한 번에 하나씩 옮기라고 하는 것과 같습니다. 속도가 필요한 것이 아니라 거대한 규모(scale)가 필요합니다.이 작업의 주된 적은 단순한 계산 속도가 아니라 <a href="https://www.google.com/search?q=%ED%8F%B0+%EB%85%B8%EC%9D%B4%EB%A7%8C+%EB%B3%91%EB%AA%A9+%ED%98%84%EC%83%81&amp;oq=%ED%8F%B0+%EB%85%B8%EC%9D%B4%EB%A7%8C+%EB%B3%91%EB%AA%A9+%ED%98%84%EC%83%81&amp;gs_lcrp=EgZjaHJvbWUyCQgAEEUYORiABDIGCAEQABgeMggIAhAAGAgYHjIICAMQABgIGB4yCggEEAAYgAQYogTSAQc2MTFqMGo3qAIAsAIA&amp;sourceid=chrome&amp;ie=UTF-8" target="_blank">폰 노이만 병목 현상</a>입니다. 이는 프로세서(계산이 일어나는 곳)와 메모리(데이터가 있는 곳) 사이에서 데이터를 주고받는 데 소비되는 시간과 에너지입니다. AI에서는 종종 실제로 계산하는 것보다 데이터를 이동하는 데 더 많은 에너지를 소비합니다.GPU와 TPU는 모두 소수의 큰 코어 대신 수천 개의 작은 코어를 사용하여 "페라리" 문제를 해결합니다. 하지만 "병목 현상" 문제는 근본적으로 다른 방식으로 해결합니다.<a href="https://blogger.googleusercontent.com/img/a/AVvXsEjjOHTRVNN9vkQ1cmaAVYf2j_6dU-6Z2TZISRH928dmi4C4fed3xEMofesL7MFDzky8rj45KzKSU7seANncLL9XwFhFbufMVCKgLOBug9ViCqEumKRfvIkHtpAXPrlPWhUxXrciH4bZ-HRULRahrPDAlIrpSZvnUiWILZ2-lc5zzpCBC00PJu7B0mocXzZN"><img alt="" data-original-height="559" data-original-width="1024" height="366" src="https://blogger.googleusercontent.com/img/a/AVvXsEjjOHTRVNN9vkQ1cmaAVYf2j_6dU-6Z2TZISRH928dmi4C4fed3xEMofesL7MFDzky8rj45KzKSU7seANncLL9XwFhFbufMVCKgLOBug9ViCqEumKRfvIkHtpAXPrlPWhUxXrciH4bZ-HRULRahrPDAlIrpSZvnUiWILZ2-lc5zzpCBC00PJu7B0mocXzZN=w671-h366" width="671"></a> <hr data-path-to-node="15"><h3>GPU: 병렬 컴퓨팅의 "스위스 아미 나이프(맥가이버 칼)"</h3>GPU는 역사의 행복한 우연입니다. NVIDIA는 처음부터 AI 칩을 만들려고 한 것이 아니라, 비디오 게임 그래픽을 렌더링하기 위한 칩을 만들었습니다.3D 장면을 렌더링하려면 수백만 픽셀의 색상을 동시에 계산해야 합니다. 이를 위해 GPU는 병렬로 작동하는 수천 개의 작은 코어로 설계되었습니다. 이 아키텍처를 <a data-preview="" href="https://www.google.com/search?ved=1t:260882&amp;q=SIMD+Single+Instruction+Multiple+Data&amp;bbid=7673110288092522152&amp;bpid=6095351561863511128" target="_blank">SIMD</a>(Single Instruction, Multiple Data)라고 하며, 수천 명의 작업자에게 서로 다른 데이터에 대해 정확히 동일한 작업을 동시에 수행하도록 지시하는 것입니다.2012년경, 연구원들은 이러한 병렬 구조가 딥러닝에 필요한 행렬 곱셈에 완벽하게 적합하다는 것을 깨달았습니다. NVIDIA는 AI 수학을 가속화하기 위해 "텐서 코어(Tensor Cores)"와 같은 기능으로 아키텍처를 발전시키며 이러한 추세에 적극 대응했습니다.아키텍처 철학: 유연한 병렬성 (Flexible Parallelism)GPU는 여전히 그래픽, 과학 시뮬레이션 및 게임을 처리해야 하므로 범용 병렬 프로세서로 남아 있습니다.GPU에 있는 수천 개의 코어는 각각 수행 작업을 관리하기 위한 자체 제어 로직이 필요합니다. 메모리에서 데이터를 가져오고, 계산을 수행하고, 결과를 다시 메모리에 기록해야 합니다. 최신 GPU에는 엄청나게 빠른 메모리(HBM)가 있지만, 기본 아키텍처는 여전히 코어와 메모리 뱅크 사이를 오가는 막대한 양의 트래픽을 수반합니다.GPU를 5,000명의 요리사가 있는 거대하고 분주한 산업용 주방이라고 생각해보세요. 그들은 모두 동시에 야채를 썰 수 있지만(병렬성), 각 요리사는 당근을 가져오기 위해 냉장고로 걸어가서, 자신의 조리대에서 썰고, 다시 걸어가서 그릇에 담아야 합니다. 매우 효과적이지만, 많이 걸어 다녀야 합니다(메모리 액세스 오버헤드).<hr data-path-to-node="24"><h3>TPU: "레이저 커터" (ASIC)</h3>약 10년 전, Google은 검색, 사진, 번역을 위한 내부 AI 워크로드가 너무 빠르게 증가하여 이를 따라잡으려면 곧 기존 데이터 센터 규모를 두 배로 늘려야 한다는 것을 깨달았습니다. GPU는 너무 범용적이었습니다. Google은 딥러닝 학습 및 추론이라는 단일 작업에 초특화된 무언가가 필요했습니다.그래서 그들은 TPU를 만들었습니다. TPU는 <a data-preview="" href="https://www.google.com/search?ved=1t:260882&amp;q=ASIC+Application-Specific+Integrated+Circuit&amp;bbid=7673110288092522152&amp;bpid=6095351561863511128" target="_blank">ASIC</a>(Application-Specific Integrated Circuit, 주문형 반도체)입니다. 이것은 정확히 한 가지 일, 즉 행렬 곱셈(Matrix Multiplication)을 믿을 수 없을 정도로 효율적으로 수행하도록 설계되었습니다.GPU가 스위스 아미 나이프라면, TPU는 고출력 산업용 레이저 커터입니다. 와인 병을 따거나 나사를 돌릴 수는 없지만, 그 어떤 것보다 빠르고 깨끗하게 금속을 절단합니다.핵심 차이점: 시스톨릭 어레이 (Systolic Array)TPU의 결정적인 아키텍처 특징은 시스톨릭 어레이입니다. 이것은 메모리 병목 현상 문제에 대한 Google의 해답입니다.GPU에서는 수천 개의 코어가 개별적으로 데이터를 가져오고, 계산하고, 저장합니다. TPU의 시스톨릭 어레이에서는 데이터가 마치 심장을 통해 펌핑되는 혈액처럼("systolic"이라는 이름의 유래) 거대한 처리 장치 그리드를 통해 동기화된 파동으로 흐릅니다.다시 주방 비유로 돌아가 보겠습니다. 5,000명의 요리사가 각자 냉장고로 걸어가는 대신, 조립 라인(컨베이어 벨트)을 상상해 보세요.<ol data-path-to-node="33" start="1"><li>재료(데이터)가 컨베이어 벨트의 한쪽 끝에 실립니다.</li><li>첫 번째 작업자가 작업(곱셈)을 수행하고 결과를 즉시 옆 작업자에게 넘깁니다.</li><li>다음 작업자는 여기에 자신의 데이터를 더하고 계속 전달합니다.</li><li>데이터는 수천 명의 작업자를 거쳐 전체 계산이 완료될 때까지 "냉장고"(메모리)로 돌아가지 않습니다.</li></ol>TPU는 칩 전체에서 데이터가 흐르는 동안 즉시 재사용함으로써 오프칩(off-chip) 메모리에 액세스할 필요성을 획기적으로 줄입니다. 이는 대규모 행렬 연산에 있어 엄청난 전력 효율성과 처리량 향상으로 이어집니다.<a href="https://blogger.googleusercontent.com/img/a/AVvXsEh88ziMwynhvgA-b_9WZSuoFoIGnADblr9YN2fdUChk-CJ-u2mrEnp4IStnZBEPGeA4QH_oCoW_GFZklvHNNxPcJt6XHX6BRwROuroGCWYQ_MleLnjf8oaWf2DVFxWCpU0TG0kW5aXQ3xUOfpUV7z4cuK28T1L_WouOX6fTnXKS9A2u2Vr6YH28jlNvfkWS"><img alt="" data-original-height="559" data-original-width="1024" height="351" src="https://blogger.googleusercontent.com/img/a/AVvXsEh88ziMwynhvgA-b_9WZSuoFoIGnADblr9YN2fdUChk-CJ-u2mrEnp4IStnZBEPGeA4QH_oCoW_GFZklvHNNxPcJt6XHX6BRwROuroGCWYQ_MleLnjf8oaWf2DVFxWCpU0TG0kW5aXQ3xUOfpUV7z4cuK28T1L_WouOX6fTnXKS9A2u2Vr6YH28jlNvfkWS=w641-h351" width="641"></a>아키텍처 차이점 요약<table data-path-to-node="36"><thead><tr><td>특징</td><td>GPU (NVIDIA)</td><td>TPU (Google)</td></tr></thead><tbody><tr><td data-path-to-node="36,1,0,0">칩 유형</td><td data-path-to-node="36,1,1,0">범용 병렬 프로세서 (GPGPU)</td><td data-path-to-node="36,1,2,0">주문형 반도체 (ASIC)</td></tr><tr><td data-path-to-node="36,2,0,0">설계 목표</td><td data-path-to-node="36,2,1,0">그래픽, HPC(고성능 컴퓨팅), AI, 게임</td><td data-path-to-node="36,2,2,0">딥러닝 (행렬 연산) 전용</td></tr><tr><td data-path-to-node="36,3,0,0">코어 구조</td><td data-path-to-node="36,3,1,0">제어 로직을 가진 수천 개의 독립 코어</td><td data-path-to-node="36,3,2,0">최소한의 제어 로직을 가진 거대한 "시스톨릭 어레이"</td></tr><tr><td data-path-to-node="36,4,0,0">데이터 흐름</td><td data-path-to-node="36,4,1,0">커널(Kernel) 기반: 메모리 로드 -&gt; 계산 -&gt; 메모리 저장. 반복.</td><td data-path-to-node="36,4,2,0">데이터플로우(Dataflow): 데이터가 한 번 로드되면 칩 전체를 "흐르며", 메모리로 돌아가기 전에 수천 번 재사용됨.</td></tr><tr><td data-path-to-node="36,5,0,0">비유</td><td data-path-to-node="36,5,1,0">수천 명의 요리사가 있는 거대한 주방</td><td data-path-to-node="36,5,2,0">고도로 최적화된 조립 라인</td></tr></tbody></table><hr data-path-to-node="37"><h3>트레이드오프 (The Trade-Off)</h3>TPU의 아키텍처는 AI에 더 우수해 보이며, 순수한 행렬 연산의 경우 실제로 그렇습니다. Google은 그래픽 및 일반 컴퓨팅에 필요한 제어 로직을 제거함으로써 실리콘에 더 많은 연산 장치를 집적하고 더 효율적으로 전력을 공급할 수 있습니다.하지만 전문화에는 대가가 따릅니다. 바로 경직성(Rigidity)입니다.TPU는 견고한 조립 라인처럼 설계되었기 때문에 데이터가 어떤 모습일지 미리 정확히 아는 데 크게 의존합니다. AI 모델에 매번 크기가 변하는 동적 입력이 있거나, 복잡한 분기 로직(모델 내부의 if/then 문)이 있는 경우 조립 라인의 아름다운 효율성은 무너집니다.독립적인 코어를 가진 GPU는 이러한 복잡하고 동적인 동작을 훨씬 더 잘 처리합니다.이러한 물리적 현실은 근본적인 소프트웨어 과제를 야기합니다. 현대 AI 연구의 혼란스러운 현실을 처리하도록 경직된 조립 라인을 어떻게 프로그래밍할까요?2부에서는 하드웨어에서 소프트웨어로 넘어갑니다. NVIDIA의 지배력을 보호하는 "<a data-preview="" href="https://www.google.com/search?ved=1t:260882&amp;q=CUDA+NVIDIA&amp;bbid=7673110288092522152&amp;bpid=6095351561863511128" target="_blank">CUDA</a> 해자(Moat)"를 살펴보고, 일반 개발자에게 마침내 TPU의 잠재력을 열어주고 있는 컴파일러 기반 혁명(<a data-preview="" href="https://www.google.com/search?ved=1t:260882&amp;q=XLA+compiler&amp;bbid=7673110288092522152&amp;bpid=6095351561863511128" target="_blank">XLA</a> 및 <a data-preview="" href="https://www.google.com/search?ved=1t:260882&amp;q=JAX+machine+learning&amp;bbid=7673110288092522152&amp;bpid=6095351561863511128" target="_blank">JAX</a>)을 분석할 것입니다.</div></div>

Blog for Android & IT

현대의 골드러시는 귀금속을 쫓지 않습니다. 바로 실리콘을 쫓고 있습니다. 생성형 AI(Generative AI)의 폭발적인 성장은 컴퓨팅 파워에 대한 채울 수 없는 수요를 창출했으며, 일반인에게는 낯선 하드웨어 사양이 뉴스 헤드라인을 장식하게 만들었습니다.
이 열풍의 중심에는 AI 인프라 환경을 정의하는 두 가지 약어, 즉 GPU(Graphics Processing Unit, 그래픽 처리 장치)와 TPU(Tensor Processing Unit, 텐서 처리 장치)가 있습니다.
엔지니어, 데이터 과학자 또는 이 분야를 탐색하는 기술 리더라면 기본적인 딜레마를 알고 계실 겁니다. 업계 표준(NVIDIA GPU)을 고수할 것인가, 아니면 강력한 대안(Google TPU)을 모색할 것인가?
소프트웨어 또는 비즈니스 관점에서 답을 내리기 전에, 히트싱크(방열판) 아래에서 물리적으로 무슨 일이 일어나고 있는지 이해해야 합니다. 왜 이 칩들은 서로 다를까요? 왜 TPU는 때때로 더 적은 전력을 사용하면서 더 빠르게 숫자를 계산할 수 있을까요?
이 글은 AI 실리콘 전쟁 3부작 중 1부입니다. 오늘은 그 엔진 블록을 살펴보기 위해 후드를 열어보겠습니다.
공통된 문제: 폰 노이만 병목 현상 (The Von Neumann Bottleneck)
AI 칩이 왜 지금과 같은 모습을 하고 있는지 이해하려면, 먼저 표준 CPU(노트북에 들어 있는 것과 같은 중앙 처리 장치)가 딥러닝에 왜 형편없는지 이해해야 합니다.
CPU는 최대의 유연성을 위해 설계되었습니다. 운영 체제를 실행하고, 웹 브라우저를 열고, 복잡하게 분기되는 로직(수많은 "if/then/else" 문)을 순차적으로 매우 빠르게 실행해야 합니다. 이를 위해 소수의 강력한 코어와 정교한 제어 로직을 가지고 있습니다.
딥러닝은 정반대입니다. 딥러닝은 비교적 간단한 수학(대부분 숫자 곱셈 및 덧셈)을 수십억 번 병렬로 실행하는 작업과 관련이 있습니다. CPU에게 신경망 학습을 요청하는 것은 페라리를 사용하여 흙으로 된 산을 찻숟가락으로 한 번에 하나씩 옮기라고 하는 것과 같습니다. 속도가 필요한 것이 아니라 거대한 규모(scale)가 필요합니다.
이 작업의 주된 적은 단순한 계산 속도가 아니라 폰 노이만 병목 현상입니다. 이는 프로세서(계산이 일어나는 곳)와 메모리(데이터가 있는 곳) 사이에서 데이터를 주고받는 데 소비되는 시간과 에너지입니다. AI에서는 종종 실제로 계산하는 것보다 데이터를 이동하는 데 더 많은 에너지를 소비합니다.
GPU와 TPU는 모두 소수의 큰 코어 대신 수천 개의 작은 코어를 사용하여 "페라리" 문제를 해결합니다. 하지만 "병목 현상" 문제는 근본적으로 다른 방식으로 해결합니다.
GPU: 병렬 컴퓨팅의 "스위스 아미 나이프(맥가이버 칼)"
GPU는 역사의 행복한 우연입니다. NVIDIA는 처음부터 AI 칩을 만들려고 한 것이 아니라, 비디오 게임 그래픽을 렌더링하기 위한 칩을 만들었습니다.
3D 장면을 렌더링하려면 수백만 픽셀의 색상을 동시에 계산해야 합니다. 이를 위해 GPU는 병렬로 작동하는 수천 개의 작은 코어로 설계되었습니다. 이 아키텍처를 SIMD(Single Instruction, Multiple Data)라고 하며, 수천 명의 작업자에게 서로 다른 데이터에 대해 정확히 동일한 작업을 동시에 수행하도록 지시하는 것입니다.
2012년경, 연구원들은 이러한 병렬 구조가 딥러닝에 필요한 행렬 곱셈에 완벽하게 적합하다는 것을 깨달았습니다. NVIDIA는 AI 수학을 가속화하기 위해 "텐서 코어(Tensor Cores)"와 같은 기능으로 아키텍처를 발전시키며 이러한 추세에 적극 대응했습니다.
아키텍처 철학: 유연한 병렬성 (Flexible Parallelism)
GPU는 여전히 그래픽, 과학 시뮬레이션 및 게임을 처리해야 하므로 범용 병렬 프로세서로 남아 있습니다.
GPU에 있는 수천 개의 코어는 각각 수행 작업을 관리하기 위한 자체 제어 로직이 필요합니다. 메모리에서 데이터를 가져오고, 계산을 수행하고, 결과를 다시 메모리에 기록해야 합니다. 최신 GPU에는 엄청나게 빠른 메모리(HBM)가 있지만, 기본 아키텍처는 여전히 코어와 메모리 뱅크 사이를 오가는 막대한 양의 트래픽을 수반합니다.
GPU를 5,000명의 요리사가 있는 거대하고 분주한 산업용 주방이라고 생각해보세요. 그들은 모두 동시에 야채를 썰 수 있지만(병렬성), 각 요리사는 당근을 가져오기 위해 냉장고로 걸어가서, 자신의 조리대에서 썰고, 다시 걸어가서 그릇에 담아야 합니다. 매우 효과적이지만, 많이 걸어 다녀야 합니다(메모리 액세스 오버헤드).
TPU: "레이저 커터" (ASIC)
약 10년 전, Google은 검색, 사진, 번역을 위한 내부 AI 워크로드가 너무 빠르게 증가하여 이를 따라잡으려면 곧 기존 데이터 센터 규모를 두 배로 늘려야 한다는 것을 깨달았습니다. GPU는 너무 범용적이었습니다. Google은 딥러닝 학습 및 추론이라는 단일 작업에 초특화된 무언가가 필요했습니다.
그래서 그들은 TPU를 만들었습니다. TPU는 ASIC(Application-Specific Integrated Circuit, 주문형 반도체)입니다. 이것은 정확히 한 가지 일, 즉 행렬 곱셈(Matrix Multiplication)을 믿을 수 없을 정도로 효율적으로 수행하도록 설계되었습니다.
GPU가 스위스 아미 나이프라면, TPU는 고출력 산업용 레이저 커터입니다. 와인 병을 따거나 나사를 돌릴 수는 없지만, 그 어떤 것보다 빠르고 깨끗하게 금속을 절단합니다.
핵심 차이점: 시스톨릭 어레이 (Systolic Array)
TPU의 결정적인 아키텍처 특징은 시스톨릭 어레이입니다. 이것은 메모리 병목 현상 문제에 대한 Google의 해답입니다.
GPU에서는 수천 개의 코어가 개별적으로 데이터를 가져오고, 계산하고, 저장합니다. TPU의 시스톨릭 어레이에서는 데이터가 마치 심장을 통해 펌핑되는 혈액처럼("systolic"이라는 이름의 유래) 거대한 처리 장치 그리드를 통해 동기화된 파동으로 흐릅니다.
다시 주방 비유로 돌아가 보겠습니다. 5,000명의 요리사가 각자 냉장고로 걸어가는 대신, 조립 라인(컨베이어 벨트)을 상상해 보세요.
재료(데이터)가 컨베이어 벨트의 한쪽 끝에 실립니다.
첫 번째 작업자가 작업(곱셈)을 수행하고 결과를 즉시 옆 작업자에게 넘깁니다.
다음 작업자는 여기에 자신의 데이터를 더하고 계속 전달합니다.
데이터는 수천 명의 작업자를 거쳐 전체 계산이 완료될 때까지 "냉장고"(메모리)로 돌아가지 않습니다.
TPU는 칩 전체에서 데이터가 흐르는 동안 즉시 재사용함으로써 오프칩(off-chip) 메모리에 액세스할 필요성을 획기적으로 줄입니다. 이는 대규모 행렬 연산에 있어 엄청난 전력 효율성과 처리량 향상으로 이어집니다.
아키텍처 차이점 요약
특징GPU (NVIDIA)TPU (Google)
칩 유형범용 병렬 프로세서 (GPGPU)주문형 반도체 (ASIC)
설계 목표그래픽, HPC(고성능 컴퓨팅), AI, 게임딥러닝 (행렬 연산) 전용
코어 구조제어 로직을 가진 수천 개의 독립 코어최소한의 제어 로직을 가진 거대한 "시스톨릭 어레이"
데이터 흐름커널(Kernel) 기반: 메모리 로드 -> 계산 -> 메모리 저장. 반복.데이터플로우(Dataflow): 데이터가 한 번 로드되면 칩 전체를 "흐르며", 메모리로 돌아가기 전에 수천 번 재사용됨.
비유수천 명의 요리사가 있는 거대한 주방고도로 최적화된 조립 라인
트레이드오프 (The Trade-Off)
TPU의 아키텍처는 AI에 더 우수해 보이며, 순수한 행렬 연산의 경우 실제로 그렇습니다. Google은 그래픽 및 일반 컴퓨팅에 필요한 제어 로직을 제거함으로써 실리콘에 더 많은 연산 장치를 집적하고 더 효율적으로 전력을 공급할 수 있습니다.
하지만 전문화에는 대가가 따릅니다. 바로 경직성(Rigidity)입니다.
TPU는 견고한 조립 라인처럼 설계되었기 때문에 데이터가 어떤 모습일지 미리 정확히 아는 데 크게 의존합니다. AI 모델에 매번 크기가 변하는 동적 입력이 있거나, 복잡한 분기 로직(모델 내부의 if/then 문)이 있는 경우 조립 라인의 아름다운 효율성은 무너집니다.
독립적인 코어를 가진 GPU는 이러한 복잡하고 동적인 동작을 훨씬 더 잘 처리합니다.
이러한 물리적 현실은 근본적인 소프트웨어 과제를 야기합니다. 현대 AI 연구의 혼란스러운 현실을 처리하도록 경직된 조립 라인을 어떻게 프로그래밍할까요?
2부에서는 하드웨어에서 소프트웨어로 넘어갑니다. NVIDIA의 지배력을 보호하는 "CUDA 해자(Moat)"를 살펴보고, 일반 개발자에게 마침내 TPU의 잠재력을 열어주고 있는 컴파일러 기반 혁명(XLA 및 JAX)을 분석할 것입니다.

AI 실리콘 전쟁, 1부: 과대광고를 넘어서—GPU와 TPU의 근본적인 아키텍처 차이점

댓글