연구진은 장기적인 작업, 도구 사용, 환경 피드백을 포함하는 다중 턴 상호 작용을 위한 에이전트로 훈련되는 대규모 언어 모델의 학습 효율을 높이는 SEED(Self-Evolving On-Policy Distillation) 프레임워크를 제안했어요.
SEED는 완료된 온-정책 트레이저리를 훈련 시간 동안의 후회하는 기술로 변환하고, 이 기술의 행동 효과를 정책 모델에 증류하여 정책 학습에 대한 지침을 제공해요.
텍스트 기반 및 비전 기반 에이전트 작업에 대한 실험 결과, SEED는 성능과 샘플 효율성을 지속적으로 향상시키고, 미지의 시나리오에 대한 강력한 일반화 능력을 보여줬어요.