연구진은 디퓨전 언어 모델(dLLM)의 추론 성능 향상을 위해 dOPSD(Diffusion On-Policy Self-Distillation)를 제안했어요. dOPSD는 모델 자체의 디코딩 과정을 통해 교사 모델의 정보를 얻어 학생 모델을 학습시켜요.
기존 자기 증류 방식의 한계를 극복하고, 수학적 추론과 코드 생성 능력을 향상시켰어요. Dream과 LLaDA 모델에서 지도 학습 및 온-정책 학습 대비 우수한 성능을 보였어요.
dOPSD는 학생 모델의 디노이징 경로에서 파생된 교사 모델의 정보를 활용하여, 외부 레이블 없이 모델 자체의 디코딩 과정을 통해 학습해요.