연구진은 추론 언어 모델(RLM)의 성능을 향상시키는 새로운 방법을 제시했어요. 지도 학습 데이터에 지침 튜닝을 적용하고, 원래 RLM과 병합하여 추론 능력을 유지하면서 성능을 개선하는 방식이에요. 코딩과 텍스트 요약 등 검증이 어렵거나 쉬운 영역 모두에서 RLM 성능이 향상됐고, 비용은 3달러 미만으로 매우 효율적이에요.
RLM은 수학, 코딩 등 검증 가능한 영역에서 뛰어난 성능을 보이지만, 검증이 어려운 영역에서는 학습이 어렵다는 한계가 있었어요. 연구진은 활용되지 않는 지도 학습 데이터를 활용하여 RLM의 성능을 더욱 향상시킬 수 있음을 보여줬어요.
연구진은 지침 튜닝 후 모델을 원래 RLM과 병합하여 목표 영역에서 추론 능력을 회복하는 방법을 사용했어요. 이 방법은 검증 가능하고 불가능한 영역 모두에서 RLM 성능을 개선하면서 다른 영역에서의 RLM 능력을 유지합니다.