연구진은 지식 증류 시 교사의 절대 좌표를 일치시키는 기존 방식의 문제점을 지적했어요. 교사의 표현은 직교 및 등방성 스케일링 등가 클래스에 따라 달라지므로, 학생은 교사의 등가 클래스를 학습해야 한다고 주장합니다.
능력은 교사의 출력 함수로 정의되며, 이는 등가 클래스에 따라 불변하는 요소이므로, 출력 함수를 정확하게 복구하는 목표를 설정해야 합니다.
연구진은 Qwen2.5 및 Llama-3.1 모델을 활용하여 교사 감독 프레임워크를 검증하고, 손상된 모델의 표현 복구 연구와 경계 겹침이 이식 성공을 예측한다는 사실을 확인했습니다.