연구진은 GRPO(Group Relative Policy Optimization)가 가장 어려운 문제에서 교정 신호가 사라져 학습 효율이 떨어진다는 문제를 발견했어요.
AdaPrefix-GRPO는 문제 해결을 위한 적절한 접두어를 동적으로 조절하여 성공률을 높이고, 학습 과정에서 접두어 지원을 점진적으로 줄여 모델이 스스로 문제를 해결하도록 유도해요.
실험 결과, AdaPrefix-GRPO는 기존 GRPO 대비 0.6B 모델에서 2.1배, Qwen3-1.7B 모델에서 1.6배, AIME 모델에서 1.7배 더 높은 정확도를 보였으며, 추적 길이는 약 절반으로 줄었어요.