연구진은 Qwen-2.5-1.5B 모델을 활용해 강화 학습을 통한 추론 능력 향상 과정을 분석했어요. 전략 선택과 전략 개선이라는 두 가지 핵심 메커니즘을 발견했으며, SFT 데이터와 강화 학습 데이터가 이 메커니즘을 활성화하는 데 중요한 역할을 한다는 것을 확인했어요. 연구 결과는 강화 학습 훈련에 대한 메커니즘적 통찰력을 제공하며, 추론 능력을 더욱 확장하기 위한 실질적인 개입 방법을 제시합니다.
SFT 데이터는 다양한 추론 전략을 모델에게 지도하여 전략 선택을 가능하게 하고, 강화 학습 데이터의 난이도 증가는 전략 개선을 가능하게 한다는 것을 밝혀냈어요. 연구는 강화 학습 훈련 과정에 대한 이해를 높이는 데 기여할 것으로 보입니다.
이번 연구는 강화 학습 훈련의 메커니즘적 이해를 높이고, 추론 능력을 확장하기 위한 실질적인 개입 방법을 제시하며, 모델 훈련 방식 개선에 도움이 될 수 있다는 점에서 의미가 있습니다.