연구진은 자가 증류 과정에서 모델이 받는 피드백의 중요성을 분석했어요. 단계별로 정렬된 피드백이 기존 방식보다 더 큰 성능 향상을 가져온다는 사실을 발견했어요. 자가 증류는 모델이 질문에 대한 답변과 함께 이전 시도의 피드백을 학습하여 맥락이 없을 때도 개선된 답변을 제공하도록 하는 방법이에요.
참고 솔루션 기반 피드백은 모델의 모든 토큰에 변화를 강요하여 오히려 성능을 저해하는 반면, 단계별로 정렬된 피드백은 오류가 발생하는 토큰만 정확하게 타겟팅해요. 이는 자가 증류의 효과를 높이는 핵심 요인으로 분석돼요.