연구진은 LLM 추론 증류 과정에서 발생하는 이중 노출 편향 문제를 해결하기 위해 새로운 파이프라인 MOTAB(Monitoring Trajectories and Backtracking)를 제안했어요.
MOTAB는 학생 모델의 생성 과정을 모니터링하며, 안전 경계를 벗어날 경우 이전 안전 상태로 돌아가 교사의 개입을 통해 오류를 수정해요.
LIMO-v2 및 AceReason 데이터셋 실험 결과, MOTAB는 이중 노출 편향을 완화하여 추론 작업에서 평균 3%의 성능 향상을 달성했어요.