대규모 언어 모델(LLM)은 강화 학습을 통해 추론 능력이 향상되었어요. 하지만 모델 성능이 높아질수록 고품질 보상 신호를 구축하기 어려워, 약한 감독 하에서 강화 학습이 성공할 수 있는 조건을 파악하는 것이 중요해졌어요.
약한 감독 환경(데이터 부족, 노이즈 있는 보상, 자체 감독 프록시 보상)에서 다양한 모델과 추론 영역에 대한 실험을 진행한 결과, 모델의 일반화는 훈련 보상 포화 역학에 의해 결정된다는 것을 확인했어요.
논리적 단계를 예측하는 '추론의 진실성'이 모델의 일반화 능력을 예측하는 중요한 요소이며, 명시적 추론 과정을 활용한 지도 학습과 지속적인 사전 훈련을 결합하면 약한 감독 환경에서도 모델의 일반화 능력을 향상시킬 수 있다는 결과를 얻었어요.