연구진은 강화 학습에서 교사 모델의 출력을 직접 모방하는 대신, 교사 모델과 기반 모델의 차이인 '델타 신호'를 활용하는 새로운 지식 전달 기법을 제안했어요.
델타 신호는 추론 능력 향상을 위해 instruction tuning을 수행하기 전의 변화를 담아, 강화 학습 모델이 추론 능력을 더 효과적으로 학습하도록 돕는 역할을 해요.
수학, 과학, 코딩 추론 벤치마크에서 기존 방식보다 성능이 뛰어나, 짧은 시간 안에 강력한 추론 LLM을 만들 수 있음을 입증했어요.