연구진은 강화 학습(RL)을 통해 언어 모델 추론 능력을 향상시키는 방법으로, 약한 모델에서 RL을 수행한 후 더 강력한 모델에 적용하는 '약-강 일반화' 기법을 제안했어요.
Direct-OPD(Direct On-Policy Distillation)는 약한 모델의 RL로 인한 정책 변화를 직접적으로 전달하여, 기존 증류 방식의 한계를 극복하고 더 강력한 모델의 성능을 향상시킬 수 있어요.
Direct-OPD는 약한 모델의 RL 학습 신호를 명시적인 보상 모델 없이, 더 강력한 모델의 상태에 직접 적용하여 Qwen3-1.7B 모델의 AIME 2024 점수를 4시간 만에 62.4%까지 끌어올렸어요.