연구진은 지식 증류(KD)와 믹스업의 상호작용이 부족한 점에 주목했어요. 믹스업을 학생 훈련에만 적용할 때, 교사는 훈련 데이터와 다른 분포의 입력에 노출돼 혼란스러운 신호를 전달할 수 있어요.
믹스업 기반 KD는 교사의 어두운 지식 전달을 넘어 학생이 선형성을 획득하도록 돕고, 기존 방식보다 정확도를 향상시키며 과신을 줄여요.
교사의 교정(calibration)은 정확도 전달과 독립적으로 학생에게 전달되며, 온도 스케일링은 정확도와 교정 간의 균형을 조절하는 역할을 해요.