연구진은 강화 학습 기반 LLM 에이전트의 학습 효율성을 높이기 위해 GAGPO라는 새로운 방법을 제안했습니다. GAGPO는 여러 단계로 이루어진 환경에서 보상을 정확하게 분배하여 에이전트의 학습을 돕습니다.
GAGPO는 샘플링된 실행 결과를 바탕으로 그룹화된 가치 프록시를 생성하고, 이를 통해 시간적 이점을 계산하여 결과를 거슬러 올라가며 감독합니다.
ALFWorld와 WebShop 환경에서의 실험 결과, GAGPO는 기존 강화 학습 방법보다 뛰어난 성능을 보였으며, 빠른 초기 학습 속도와 효율적인 상호 작용을 가능하게 했습니다.