연구진은 장기적인 탐색 작업에서 LLM 에이전트의 성능을 향상시키는 강화 학습 방법인 IGRPO(Information Gain-based Rollout Policy Optimization)를 제안했어요.
IGRPO는 중간 상태의 정보량을 기준으로 롤아웃을 수집하며, 정보량이 높은 분기는 더 자주 확장하고, 유망하지 않은 분기는 점진적으로 억제하는 방식으로 작동해요.
실험 결과, IGRPO는 동일한 롤아웃 예산 제약 조건 하에서 강력한 기준 모델들을 능가하는 성능을 보여줬으며, 유도된 교사 분포를 활용하여 정책 최적화를 안내하는 효과를 입증했어요.