연구진은 다중 회전 온-정책 증류(OPD)를 연구하며, LLM 에이전트가 환경과 여러 단계 상호작용하는 에이전트 작업에서 학생 모델이 교사 모델을 모방합니다.
Replayed-Prefix On-Policy Distillation (ReOPD)은 교사 모델의 사전 수집된 트랙토리를 재활용하여 환경 상호작용 없이 단계별 감독을 제공하는 오프-환경 대안입니다.
ReOPD는 다중 회전 OPD에서 학생 모델의 정책이 교사 모델의 신뢰성이 낮은 시점에 쿼리되는 '프리픽스 트랩' 문제를 해결하고, 초기 단계의 신뢰성이 높은 프리픽스를 강조하는 샘플링 스케줄을 사용합니다.