연구진은 자가 증류 과정에서 모델이 받는 피드백의 중요성을 분석했어요. 단계별로 정렬된 피드백이 기존 방식보다 성능을 크게 향상시키는 것을 확인했어요. 기존 방식은 모델의 모든 부분을 수정하려 하지만, 단계별 정렬 방식은 오류가 발생하는 부분에만 집중해요.
자가 증류는 모델이 이전 시도의 피드백을 바탕으로 답변을 개선하는 과정을 학습하는 방법이에요. 이때 모델이 받는 피드백의 내용이 학습 결과에 큰 영향을 미친다는 것을 연구진은 밝혔어요.
연구 결과, 단계별로 정렬된 피드백은 평균 12번 시도했을 때 16.11점이 향상되는 효과를 보였어요. 이는 기존 방식보다 훨씬 높은 수치이며, 모델의 구조적 정렬이 자가 증류의 효과를 높이는 핵심 요인임을 시사합니다.