Trajectory as the Teacher 연구는 Discrete Flow Matching 과정에서 발생하는 문제점을 지적하고, 이를 해결하기 위한 새로운 방법론인 TS-DFM (Trajectory-Shaped Discrete Flow Matching)을 제안합니다.
TS-DFM은 에너지 기반의 '방향 지시 장치'를 활용하여 학습 과정에서 생성되는 trajectory를 개선하고, 학생 모델이 더 적은 단계로도 교사 모델의 성능을 따라하도록 돕습니다.
실험 결과, TS-DFM은 기존 방법 대비 perplexity를 32% 낮추고 128배 빠른 속도를 달성했으며, 다양한 평가 기준에서도 우수한 성능을 보였습니다.