Mixture-of-experts (MoE) 모델이 대규모 AI 시스템의 핵심 요소로 빠르게 자리 잡고 있어요. 전문가 모델을 활용하여 모델 크기를 늘리면서도 연산 비용을 줄이는 장점이 있습니다.
연구진은 퓨전 커널을 활용하여 MoE 학습 처리량을 4배까지 향상시키는 새로운 방법을 개발했어요. 기존 방식 대비 통신 오버헤드를 줄이고 GPU 활용률을 높이는 효과를 보입니다.
새로운 방법은 Google의 Gemini 1.5 Pro 모델 학습에도 적용될 수 있으며, 더 큰 규모의 모델 학습을 가능하게 할 것으로 기대됩니다.