연구진은 장기 에이전트 훈련에 활용되는 온폴리시 증류(OPD)의 비효율성을 개선하기 위해 TurnOPD를 제안했어요. TurnOPD는 턴 단위 예산 관리 전략으로, 불필요한 롤아웃 길이를 줄이고 턴별 가중치를 조정하여 훈련 효율성을 높여요.
TurnOPD는 턴 통계 기반 롤아웃 길이 결정 및 점진적인 턴 정규화 손실 예산 관리를 통해 훈련 효율성을 개선하며, ALFWorld, WebShop, Multi-Hop Search에서 기존 OPD보다 높은 성능을 보여줬어요.
연구 결과, TurnOPD는 동일한 훈련 시간 내에 검증 정확도를 향상시키고, 기존 OPD의 정확도-시간 균형을 개선하는 데 기여했어요.