연구진은 강화 학습(RL)을 통해 얻은 지식을 더 큰 모델에 전달하는 Direct On-Policy Distillation(Direct-OPD) 방법을 제안했어요.
Direct-OPD는 약한 모델의 RL 경험을 바탕으로 강한 모델의 정책 변화를 학습하며, 이를 통해 RL 보상을 직접적으로 재사용해요.
실험 결과, Direct-OPD는 Qwen3-1.7B 모델의 AIME 2024 점수를 48.3%에서 58.3%로 향상시켰으며, 기존 RL 방법보다 뛰어난 성능을 보였어요.