Nemotron-Labs-Diffusion은 AR, 확산, 자기회귀 디코딩을 통합한 새로운 언어 모델이에요. AR과 확산 목표를 공동으로 학습하여 다양한 환경에서 높은 처리량을 유지할 수 있어요.
자기회귀 모드에서는 확산이 초안을 작성하고 AR이 검증하여 다중 토큰 예측 방식보다 더 높은 수용률과 효율성을 보여줘요.
3B, 8B, 14B 파라미터 규모로 제작된 Nemotron-Labs-Diffusion 모델은 정확도와 속도 모두에서 기존 AR 및 확산 모델보다 뛰어난 성능을 보여줘요.