<div id="readability-page-1" class="page"><div>
        <article>
          
      <div>
        <nav aria-label="목차">
          <p>목차</p>
          <ul>
        <li><a href="#heading-0">TL;DR - 바쁜 분들을 위한 요약</a></li>
        <li><a href="#heading-1">수치 정밀도, 왜 중요한가?</a></li>
        <li><a href="#heading-2">핵심 데이터 타입 4가지</a></li>
        <li><a href="#heading-3">FP32 (Float32) - 학습의 표준</a></li>
        <li><a href="#heading-4">FP16 (Float16) - GPU 추론 가속</a></li>
        <li><a href="#heading-5">BF16 (BFloat16) - 두마리 토끼 잡기</a></li>
        <li><a href="#heading-6">INT8 - 엣지 디바이스의 필수</a></li>
        <li><a href="#heading-7">Mixed Precision Training (AMP)</a></li>
        <li><a href="#heading-8">Pure vs AMP</a></li>
        <li><a href="#heading-9">AMP는 어떻게 동작하나?</a></li>
        <li><a href="#heading-10">하드웨어 지원 체크하기</a></li>
        <li><a href="#heading-11">GPU</a></li>
        <li><a href="#heading-12">CPU</a></li>
        <li><a href="#heading-13">결론</a></li>
          </ul>
        </nav>
      </div>
          <div>
<p>머신러닝 모델을 프로덕션에 배포할 때 가장 많이 고민하는 것 중 하나가 바로 <strong>수치 정밀도(Numerical Precision)</strong> 선택입니다. FP32로 학습한 모델을 FP16으로 서빙해도 될까? INT8 양자화는 언제 해야 할까? 이번 글에서는 정밀도 선택 전략을 정리했습니다.</p>
<h2 id="heading-0">TL;DR - 바쁜 분들을 위한 요약</h2>
<blockquote>"Train High, Infer Low" - 학습은 높은 정밀도로, 서빙은 낮은 정밀도로</blockquote>
<table>
<thead>
<tr>
<th>상황</th>
<th>추천 조합</th>
<th>메모리 절감</th>
<th>안정성/품질</th>
<th>비고</th>
</tr>
</thead>
<tbody>
<tr>
<td><strong>LLM 학습/서빙</strong></td>
<td>FP32+BF16 Mixed 학습 → BF16 추론</td>
<td>50%</td>
<td>⭐⭐⭐⭐⭐</td>
<td>
<strong>가장 일반적인 선택</strong>, 넓은 범위(±3.4×10³⁸), 수치 안정성 우수</td>
</tr>
<tr>
<td><strong>고성능 서빙</strong></td>
<td>FP32 학습 → BF16 추론</td>
<td>50%</td>
<td>⭐⭐⭐⭐⭐</td>
<td>A100, H100 등 최신 GPU 권장</td>
</tr>
<tr>
<td>
<strong>컴퓨터 비전 추론</strong> (제한적)</td>
<td>FP32 학습 → FP16 추론</td>
<td>50%</td>
<td>⭐⭐⭐</td>
<td>⚠️ <strong>오버플로우 위험</strong> (범위 ±65K)</td>
</tr>
<tr>
<td><strong>모바일/엣지 디바이스</strong></td>
<td>FP32 학습 → INT8 추론 (QAT)</td>
<td>75%</td>
<td>⭐⭐</td>
<td>정확도 손실 1~5%, 정수 표현으로 제한적, 양자화 작업 필요</td>
</tr>
</tbody>
</table>
<p><strong>핵심</strong>: FP16은 정밀도는 높지만 표현 범위가 좁아서(최대값 65,504) 오버플로우 위험이 있습니다. INT8은 메모리 효율은 최고지만 정확도 손실이 가장 큽니다. 실무에서는 <strong>BF16이 가장 안정적이고 범용적</strong>입니다.</p>
<h2 id="heading-1">수치 정밀도, 왜 중요한가?</h2>
<p>모델 서빙 시 정밀도 선택은 다음 세 가지에 직접적인 영향을 미칩니다:</p>
<ol>
<li>
<strong>추론 속도</strong>: FP16은 FP32 대비 최대 2배, INT8은 최대 4배 빠릅니다</li>
<li>
<strong>메모리 사용량</strong>: 정밀도를 낮추면 모델 크기가 절반~1/4로 감소합니다</li>
<li>
<strong>정확도</strong>: 정밀도를 낮추면 0.1%~5%의 정확도 손실이 발생할 수 있습니다</li>
</ol>
<h2 id="heading-2">핵심 데이터 타입 4가지</h2>
<h3 id="heading-3">FP32 (Float32) - 학습의 표준</h3>
<pre><code>구조: [1bit 부호][8bit 지수][23bit 가수] = 32bit
표현 범위: ±3.4 × 10³⁸
정밀도: 약 7~8자리
</code></pre>
<p><strong>언제 사용?</strong></p>
<ul>
<li>모델 학습 (Training)</li>
<li>베이스라인 정확도 측정</li>
<li>디버깅 및 검증</li>
</ul>
<h3 id="heading-4">FP16 (Float16) - GPU 추론 가속</h3>
<pre><code>구조: [1bit 부호][5bit 지수][10bit 가수] = 16bit
표현 범위: ±65,504 ⚠️
정밀도: 약 3~4자리
</code></pre>
<p><strong>장점</strong>: 메모리 50% 절감, 속도 2배 향상</p>
<p><strong>단점</strong>: 좁은 표현 범위로 오버플로우 위험</p>
<p><strong>언제 사용?</strong></p>
<ul>
<li>GPU에서 추론 가속<ul><li>컴퓨터 비전 모델 (이미지는 0~255로 정규화)</li></ul>
</li>
<li>하드웨어가 FP16에 최적화된 경우</li>
</ul>
<h3 id="heading-5">BF16 (BFloat16) - 두마리 토끼 잡기</h3>
<pre><code>구조: [1bit 부호][8bit 지수][7bit 가수] = 16bit
표현 범위: ±3.4 × 10³⁸ (FP32와 동일\\!)
정밀도: 약 2~3자리
</code></pre>
<p><strong>핵심 차이</strong>: FP16은 정밀도를, BF16은 표현 범위를 선택했습니다.</p>
<pre><code>FP32:  [S][EEEEEEEE][MMMMMMMMMMMMMMMMMMMMMMM]
       1   8비트         23비트

FP16:  [S][EEEEE][MMMMMMMMMM]
       1   5비트   10비트  ← 지수 축소, 정밀도 우선

BF16:  [S][EEEEEEEE][MMMMMMM]
       1   8비트     7비트  ← 지수 유지, 범위 우선 (FP32 상위 16비트)
</code></pre>
<p><strong>비유</strong>:</p>
<ul>
<li>FP16 = 고성능 현미경 (세밀하지만 시야 좁음)</li>
<li>BF16 = 고성능 망원경 (시야 넓지만 세밀함 떨어짐)</li>
</ul>
<p><strong>언제 사용?</strong></p>
<ul>
<li>대규모 언어 모델 (LLM) 학습 및 추론</li>
<li>TPU 또는 최신 GPU 사용 시</li>
<li>Gradient 안정성이 중요한 경우</li>
</ul>
<h3 id="heading-6">INT8 - 엣지 디바이스의 필수</h3>
<pre><code>구조: 8bit 정수
표현 범위: -128 ~ 127 (또는 0 ~ 255)
메모리: FP32의 25%
</code></pre>
<p><strong>장점</strong>: 매우 작은 메모리, 빠른 추론, 낮은 전력 소모</p>
<p><strong>단점</strong>: 양자화 과정 필요, 1~5% 정확도 손실</p>
<p><strong>언제 사용?</strong></p>
<ul>
<li>모바일/엣지 디바이스 배포</li>
<li>대규모 서빙 시스템 (비용 절감)</li>
<li>실시간 처리가 필요한 경우</li>
</ul>
<h2 id="heading-7">Mixed Precision Training (AMP)</h2>
<p>최근 서빙에서는 Mixed Precision을 사용하는 것이 표준입니다.</p>
<h3 id="heading-8">Pure vs AMP</h3>
<p><strong>Pure BF16</strong> (모든 연산을 BF16으로):</p>
<pre><code>model = model.bfloat16()
output = model(input.bfloat16())
</code></pre>
<p><strong>BF16 AMP</strong> (자동으로 섞어서 사용, 권장):</p>
<pre><code>with torch.autocast(device_type='cuda', dtype=torch.bfloat16):
    output = model(input)
</code></pre>
<h3 id="heading-9">AMP는 어떻게 동작하나?</h3>
<table>
<thead>
<tr>
<th>연산 종류</th>
<th>사용 정밀도</th>
<th>이유</th>
</tr>
</thead>
<tbody>
<tr>
<td>Matmul, Conv</td>
<td>BF16</td>
<td>계산 집약적, 속도 중요</td>
</tr>
<tr>
<td>ReLU, Pooling</td>
<td>BF16</td>
<td>단순 연산</td>
</tr>
<tr>
<td>Softmax</td>
<td>FP32</td>
<td>수치 안정성 중요 (exp 연산)</td>
</tr>
<tr>
<td>LayerNorm</td>
<td>FP32</td>
<td>통계 계산, 정밀도 중요</td>
</tr>
<tr>
<td>Loss 계산</td>
<td>FP32</td>
<td>정확한 손실 값 필요</td>
</tr>
</tbody>
</table>
<h2 id="heading-10">하드웨어 지원 체크하기</h2>
<h3 id="heading-11">GPU</h3>
<table>
<thead>
<tr>
<th>하드웨어</th>
<th>FP32</th>
<th>FP16</th>
<th>BF16</th>
<th>INT8</th>
</tr>
</thead>
<tbody>
<tr>
<td>NVIDIA GPU (Ampere+)</td>
<td>✓</td>
<td>✓</td>
<td>✓</td>
<td>✓</td>
</tr>
<tr>
<td>NVIDIA GPU (Turing)</td>
<td>✓</td>
<td>✓</td>
<td>△</td>
<td>✓</td>
</tr>
<tr>
<td>Google TPU</td>
<td>✓</td>
<td>✓</td>
<td>✓</td>
<td>✓</td>
</tr>
<tr>
<td>Apple Silicon</td>
<td>✓</td>
<td>✓</td>
<td>△</td>
<td>✓</td>
</tr>
</tbody>
</table>
<h3 id="heading-12">CPU</h3>
<p><strong>Intel CPU</strong>:</p>
<table>
<thead>
<tr>
<th>세대</th>
<th>모델</th>
<th>BF16 지원</th>
<th>가속 기술</th>
<th>성능</th>
</tr>
</thead>
<tbody>
<tr>
<td>4세대 Xeon</td>
<td>Sapphire Rapids (2023+)</td>
<td>✓</td>
<td>AMX</td>
<td>🚀 최고 (2~4배)</td>
</tr>
<tr>
<td>3세대 Xeon</td>
<td>Ice Lake (2020+)</td>
<td>✓</td>
<td>AVX-512 BF16</td>
<td>⚡ 우수 (1.5~2배)</td>
</tr>
<tr>
<td>Core 13/14세대</td>
<td>Raptor Lake (2022+)</td>
<td>✓</td>
<td>AVX-512 (일부)</td>
<td>⚡ 우수</td>
</tr>
<tr>
<td>구형</td>
<td>Cascade Lake 이전</td>
<td>X</td>
<td>-</td>
<td>-</td>
</tr>
</tbody>
</table>
<p><strong>AMD CPU</strong>:</p>
<table>
<thead>
<tr>
<th>세대</th>
<th>모델</th>
<th>BF16 지원</th>
</tr>
</thead>
<tbody>
<tr>
<td>EPYC Genoa</td>
<td>4세대 (2022+)</td>
<td>✓</td>
</tr>
<tr>
<td>Ryzen 7000</td>
<td>Zen 4 (2022+)</td>
<td>✓</td>
</tr>
<tr>
<td>구형</td>
<td>Zen 3 이전</td>
<td>X</td>
</tr>
</tbody>
</table>
<p><strong>ARM CPU</strong>:</p>
<table>
<thead>
<tr>
<th>세대</th>
<th>모델</th>
<th>BF16 지원</th>
</tr>
</thead>
<tbody>
<tr>
<td>AWS</td>
<td>Graviton3 (2022+)</td>
<td>✓</td>
</tr>
<tr>
<td>Apple</td>
<td>M3/M4 (2023+)</td>
<td>✓</td>
</tr>
<tr>
<td>구형</td>
<td>Zen 3 이전</td>
<td>X</td>
</tr>
</tbody>
</table>
<pre><code>import torch

# CPU BF16 지원 확인
if torch.cpu.amp.autocast_mode.is_autocast_available('cpu'):
    print("CPU BF16 지원됨\\!")

# CPU BF16 AMP 사용
with torch.cpu.amp.autocast():
    output = model(input)
</code></pre>
<h2 id="heading-13">결론</h2>
<p>수치 정밀도 선택은 <strong>정확도, 성능, 비용</strong>의 트레이드오프입니다.</p>
<p>학습과 서빙의 정밀도를 반드시 맞출 필요는 없습니다. 오히려 다른 정밀도를 사용하는 것이 일반적입니다. FP32로 서빙한것과 BF16, FP16 으로 서빙했을때의 결과 품질이 어느정도의 차이를 보이는데 각 모델이나 서비스마다 직접 테스트 하면서 결정해야 합니다.</p>
<p>각 단계에서 정확도를 측정하고, 비즈니스 요구사항에 맞는 최적점을 찾는 것이 핵심입니다. "Train High, Infer Low" 전략으로 시작해서 점진적으로 최적화하세요.</p>
<hr>
<p><strong>참고 자료</strong>:</p>
<ul>
<li>PyTorch AMP: <a href="https://pytorch.org/docs/stable/amp.html">https://pytorch.org/docs/stable/amp.html</a>
</li>
<li>TensorFlow Mixed Precision: <a href="https://www.tensorflow.org/guide/mixed_precision">https://www.tensorflow.org/guide/mixed_precision</a>
</li>
<li>NVIDIA Quantization Toolkit: <a href="https://github.com/NVIDIA/TensorRT-Model-Optimizer">https://github.com/NVIDIA/TensorRT-Model-Optimizer</a>
</li>
</ul>
</div>

          

          
        </article>
      </div></div>

44BITS: IT 뉴스, 클라우드 컴퓨팅, 프로그래밍, 컨테이너, 리눅스

Daegwon Nacyot Kim

수치 정밀도 선택은 추론 속도, 메모리, 정확도의 균형을 좌우합니다. 학습은 높은 정밀도로 안정성을 확보하고, 서빙은 낮은 정밀도로 효율을 끌어내는 전략과 BF16 중심의 권장 조합을 제시합니다. 현실 환경에서의 품질 저하와 범위 한계를 고려한 의사결정 기준을 제공합니다.

Train High, Infer Low - 머신러닝 학습과 서빙의 FP32, FP16, BF16, INT8 정밀도 선택

댓글