본 연구는 코드 생성 시 중복 구현이 발생하는 현상을 분석하고, 이를 해결하기 위해 RLVR에 중복 방지 보상을 도입했어요. 기존 RLVR은 정확도만 고려해 반복적인 코드를 생성하는 경향이 있지만, Pass@k를 고려하면 더 다양한 코드를 생성할 수 있어요. JPlag를 활용한 실험 결과, 중복 방지 보상은 제한된 예산 내에서 실행 가능한 성능을 향상시키고, Pass@k 맞춤형 목표를 능가하는 결과를 보여줬어요.
Pass@k는 LLM 코드 생성 모델을 평가할 때 반복 샘플링 환경에서 사용되는 지표예요. 정확도만 고려한 RLVR은 반복적인 구현을 집중하는 경향이 있지만, Pass@k를 고려하면 더 낮은 중복도를 유지하고 더 큰 예산 성능을 향상시킬 수 있어요.
연구진은 JPlag를 활용해 코드 생성의 구현 수준 중복도를 분석하고, RLVR에 직접적인 중복 방지 보상을 추가했어요. 3가지 모델과 3가지 벤치마크에서 테스트 결과, 중복을 줄이는 것은 제한된 예산 내에서 실행 가능한 성능을 개선하는 데 도움이 되었어요.