본 논문에서는 청구 수준 채점 보상(CuRe)이라는 구조화된 보상 프레임워크를 소개합니다. CuRe는 기존의 비디오 캡션 강화 학습에서 보상 설계의 병목 현상을 해결하기 위해 설계됐습니다. 기존의 보상 설계는 일반적으로 전체 응답 수준의 이질적인 기준에 대한 홀리스틱 판단 또는 참조 캡션에 대한 정렬 기반 평가로 나뉩니다.
CuRe는 캡션을 구조화된 채점을 통해 범주별 원자식 청구로 분해하여 홀리스틱 평가를 더 간단하고 신뢰할 수 있는 청구 수준 검증으로 전환합니다. 이를 통해 사실 정확성을 보장하고 스타일 보상 해킹을 방지하며, 개방형 생성 작업에 내재된 완전성과 다양성을 유지합니다.
CuRe는 홀리스틱 평가를 청구 수준 검증으로 재구성하여 기존의 한계를 극복하고 더 정확하고 다양한 캡션 생성을 가능하게 합니다.