연구진은 단일 교사의 고정된 관점에 의존하는 지식 증류(KD)의 한계를 극복하기 위해 Shift-Augmented Knowledge Distillation (SAKD) 프레임워크를 제안했어요.
SAKD는 학생의 진화하는 특징을 활용하여 교란 생성에 동적인 조건을 제공하며, 기존 방식의 복잡한 2단계 훈련과 많은 파라미터 요구를 없앴어요.
CIFAR-100 및 ImageNet 실험 결과, SAKD는 무작위 교란 방식보다 성능이 뛰어나고, 기존 2단계 방식과 동등한 정확도를 달성하면서도 파라미터 수를 줄였어요.