본 연구는 기존의 토큰 단위 학습 방식이 놓치는 전역적인 조합 구조를 강화 학습을 통해 개선할 수 있는지 탐구합니다.
그룹 상대 정책 최적화(Group Relative Policy Optimization)를 사용하여 최종 결과에 대한 피드백을 기반으로 모델을 최적화했으며, 간단한 이진 결과 보상과 추가적인 조합 피드백을 제공하는 복합 보상을 모두 사용했습니다.
여러 조합 벤치마크 실험 결과, 강화 학습은 기존의 지도 학습 방식보다 조합 일반화를 향상시키는 것으로 나타났습니다.