연구진은 GRPO/RLOO와 같은 기존 RL 방법의 비효율성을 개선하기 위해 Process-Scorer Guided Adaptive Tree Rollout (PATR) 프레임워크를 제안했어요.
PATR은 작업에 적합한 과정 피드백을 활용해 부분 경로를 평가하고, 유망한 상태에서 분기하며, 공유 접두사를 재사용하고, 퇴화된 경로를 중단하여 샘플링 낭비를 줄여요.
FrozenLake와 SWE-Bench에서 실험 결과, PATR은 SWE-Bench에서 최대 +5.0점, FrozenLake에서 +9.3점의 성능 향상을 보여줬어요.