연구진은 장기적인 작업, 도구 사용, 환경 피드백을 포함하는 다중 턴 상호 작용을 위한 에이전트로서의 대규모 언어 모델(LLM) 학습을 위한 SEED(SElf-Evolving On-Policy Distillation) 프레임워크를 제안했어요.
SEED는 완료된 온-라인 트래저거리를 학습 시간의 후회하는 기술로 변환하고, 정책 모델에 행동 효과를 증류하여 정책 학습에 대한 감독 격차를 줄여요.
실험 결과, SEED는 텍스트 기반 및 비전 기반 에이전트 작업에서 성능과 샘플 효율성을 향상시키고, 예상치 못한 시나리오에 대한 강력한 일반화 능력을 보여줬어요.