연구진이 검증 가능한 보상과 인간 데모를 결합한 새로운 LM 훈련 프레임워크를 제안했어요. 새로운 프레임워크는 생성 모델과 판별 모델을 활용하여 객관적인 점수와 함께 인간 데모에서 학습한 신호를 활용해요. 버그 수정, 스토리 생성 등 다양한 분야에서 RLVR 기반 모델보다 비검증 가능성이 높은 속성(스타일, 구조)을 개선하고, 모델의 부적절한 행동을 줄이는 데 효과적이에요.