연구진은 MoE LLM 강화 학습의 롤아웃 생성 병목 현상 해결을 위해 NVFP4 저정밀 방식을 제안했어요. 하지만 NVFP4를 직접 적용하면 150보 정도 후에 훈련과 롤아웃 간의 불일치가 발생했어요. QUADS 기술을 통해 훈련 측면에서는 비대칭 양자화 인식 훈련을 적용하고, 롤아웃 측면에서는 잔여 활성화 보상을 통해 안정성을 확보했어요.
QUADS 기술은 BF16 수준의 정확도를 달성하고, 기존 NVFP4 방식 대비 평균 pass@1 성능을 21.49% 향상시켰어요. 또한 FP8 방식보다 롤아웃 처리량은 16% 더 높게 나타났어요. MoE LLM 강화 학습의 효율성을 높이는 데 기여할 것으로 기대돼요.
연구 결과는 MoE LLM의 저정밀 연산과 안정성 확보를 위한 새로운 방향을 제시하며, 관련 연구 및 개발에 중요한 시사점을 제공할 것으로 보입니다.