연구진은 4B~8B 규모의 소규모 언어 및 시각-언어 모델 웹 에이전트에서 GRPO(Group Relative Policy Optimization)가 실제로 성능 향상에 기여하는지 검증했어요. 18회 실험 결과, 학습률, KL 가중치, 시드, 초기화, 클리핑 등 다양한 변수를 조절해도 강력한 지도 학습 모델의 성능을 능가하지 못했어요. 특히 중간 학습률에서는 텍스트 추적 성능이 오히려 저하되는 경향을 보였어요.
통제된 Null 실험 결과, GRPO는 에이전트가 이미 숙달한 작업에서 큰 효과를 보지 못했으며, 25회 평가 시드, 6회 훈련 시드, 레시피 변경, 텍스트 및 Set-of-Marks 스크린샷 관찰, 백본 모델 크기 확장에도 동일한 결과가 나타났어요. Set-of-Marks 관점에서만 미미한 피해가 관찰되었어요.
GRPO가 효과를 발휘하려면 샘플링된 정책이 탐욕적인 정책보다 더 자주 성공할 수 있는 여지가 있어야 하며, 그렇지 않으면 성능 향상을 기대하기 어려워요. 연구진은 GRPO 실패 원인을 분석한 결과, 중간 학습률에서는 에이전트 성능이 저하되고, 높은 학습률에서는 모델이 붕괴되는 현상이 나타나는 것을 확인했어요.