<div id="readability-page-1" class="page"><div id="page">
                        
                                <article data-post-id="756476111199895552">
                                    <div>

                                        

                                        <div><p>이번 GTC에서 발표한 GB200 NVL72 상세 스펙을 보면 GPU 72장을 하나로 묶어서 13.5TB까지 메모리 활용이 가능합니다. 기존에는 최대 80GB여서 GPT-4 스케일(220Bx8=1.8T)을 half precision으로 돌려도 45장, full precision은 90장이 필요했는데 이제 이 모든 걸 한 대에 돌려도 충분히 여유가 있는 거죠. 단순히 계산해 보면 GPT-4보다 2배 더 큰 모델도 full precision으로 문제없이 돌릴 수 있습니다. 당연히 parallel로 인한 병목도 더 이상 걱정할 필요가 없고요. 기존에는 이 병목을 좀 줄여보겠다고 GPU끼리 nvlink로 묶고, 노드 간에는 infiniband로 묶는 등 갖은 노력을 했죠. 하지만 아무리 그래도 단일 GPU의 속도는 따라갈 수가 없었습니다. 제가 A100 사용할 때 HBM 속도가 1.9TB/s나 나오는 걸 보며 ‘정말 빠르구나'하고 감탄했는데, 이제는 GB200에 기본으로 탑재되는 HBM3e가 16TB/s가 나오니 8배 더 빠르고요. 지금 소개하는 GB200 NVL72에는 576TB/s라고 스펙에 나와있습니다. 이 정도면 기존 A100보다 300배나 더 빠른 건데 정말 엄청난 속도네요. 물리적으로는 GPU 간 통신을 하는 형태로 보이는데 그래서 nvlink는 계속 유효한 거 같습니다만 이 또한 스펙상 속도가 130TB/s로 나와있으니 웬만한 HBM보다도 훨씬 더 빠릅니다. 무엇보다 기존에 inference에 최적화 한 칩을 만들던 회사들이(Groq 등) 좀 난감할 거 같네요. 아마 빅테크 등 기존에도 H100을 수 천, 수 만 대 단위로 주문하던 회사들은 당연히 NVL72를 구매해서 추론을 할거 같고요. 국내 기업들도 웬만한 대기업은 충분히 구매해서 추론을 시도해볼 거 같습니다. 역시 NVIDIA는 조용히 있다가 이런 걸 적절한 타이밍에 터트려 대니 당분간은 꾸준히 업계를 선도할 것으로 보입니다.</p></div>

                                        
                                        
                                        
                                        

                                            

                                                

                                            

                                        
                                    </div>
                                </article>
                        
                        

                        
                            
                                
                            
                        

                        
                            
                                
                                
                            
                        
                    </div></div>

70+ Books in a yr

NVIDIA GB200 NVL72 Delivers Trillion-Parameter LLM Training and Real-Time Inference | NVIDIA...

이번 GTC에서 발표한 GB200 NVL72 상세 스펙을 보면 GPU 72장을 하나로 묶어서 13.5TB까지 메모리 활용이 가능합니다. 기존에는 최대 80GB여서 GPT-4…

댓글

이번 GTC에서 발표한 GB200 NVL72 상세 스펙을 보면 GPU 72장을 하나로 묶어서 13.5TB까지 메모리 활용이 가능합니다. 기존에는 최대 80GB여서 GPT-4&hellip;

댓글

이번 GTC에서 발표한 GB200 NVL72 상세 스펙을 보면 GPU 72장을 하나로 묶어서 13.5TB까지 메모리 활용이 가능합니다. 기존에는 최대 80GB여서 GPT-4…