연구진은 온디맨드 증류(OPD)의 구조적 문제점인 '프리픽스 실패(prefix failure)'를 발견했어요. 이 문제를 해결하기 위해 경로 수준의 수정 방법인 Trajectory-Refined Distillation (TRD)을 제안했어요. TRD는 교사 모델의 지도를 받아 학생 모델의 경로를 수정하며, 기존 방식보다 성능을 개선하고 추론 범위를 넓혀요.
TRD는 온디맨드 자기 증류(OPSD)에도 적용 가능하며, 다양한 벤치마크와 모델 규모에서 기존 방식보다 우수한 성능을 보여줬어요. GitHub에서 관련 코드를 확인할 수 있어요.