연구진은 LLM의 환각 및 과신 문제를 해결하기 위해 CARE-PPO라는 강화 학습 프레임워크를 개발했어요. CARE-PPO는 예측 오류에 따른 불확실성 추정과 actor-critic PPO 미세 조정 간의 연결을 설정하여 정확한 수치 추정과 신뢰할 수 있는 신뢰도 신호를 동시에 학습해요.
의료 및 금융 분야의 실제 작업에서 CARE-PPO는 기존 방식보다 뛰어난 정량적 예측 성능을 보였고, critic을 활용해 예측 신뢰도를 향상시켰어요. 다양한 환경에서 안정적인 성능을 유지하며 일반적인 instruction-following 프롬프트에 대한 과적합을 줄였어요.
Qwen-3 모델(4B 및 8B)을 사용한 실험에서 CARE-PPO는 기존 방식보다 우수한 성능을 보였으며, RL 미세 조정이 지도 학습 방식보다 일반화에 유리하다는 것을 입증했어요.