연구진은 기존 엔트로피 기반 RLVR의 한계를 극복하기 위해 콘트라스트 정책 최적화(CPO)를 제안했어요. CPO는 레퍼런스 가이드와 일반 생성 분포 간의 토큰 단위 불일치를 활용하여 정확성을 판단하는 어드밴티지 셰이핑을 수행해요.
CPO는 이론적·실험적으로 토큰 단위 정확성을 신뢰성 있게 나타내는 것을 입증했으며, 온정책 증류가 CPO의 특수한 경우임을 보여줘요.
인튜토리얼 및 외부 도메인 벤치마크 실험 결과, CPO는 엔트로피 기반 RLVR 방법보다 성능이 우수하며 강력한 일반화 능력을 유지했어요.