NVIDIA가 GB300 NVL72 시스템으로 MoE 사전 훈련 세계 신기록을 세웠어요. 1조 토큰 규모 모델을 훈련하는 데 19일이 소요됐어요. 이는 이전 기록보다 20% 빠른 속도예요. MoE는 토큰당 컴퓨팅을 제한하며, 대규모 AI 훈련의 핵심 요소로 자리 잡고 있어요. NVIDIA는 GB300 NVL72 시스템을 통해 MoE 훈련 효율성을 극대화했어요. 특히, MoE 아키텍처의 잠재력을 보여주는 중요한 사례예요.