자기 지도 학습에서 자기 증류 방법은 뛰어난 성능을 보여주며, 하위 작업에 유용한 표현을 학습하고 새로운 특징을 나타내기도 해요.
연구진은 자기 증류의 역할을 학습 역학 내에서 탐구하며, 투사기, 예측기, 심지어 사전 과제와 같은 일반적인 구성 요소를 제거하고 무작위로 초기화된 네트워크 그룹을 훈련했어요.
이러한 최소한의 설정에서도 하위 작업에서 무작위 기준선에 비해 유의미한 개선을 보이는 학습된 표현을 얻을 수 있음을 확인하고, 다양한 하이퍼파라미터에 따른 변화와 모델이 학습하는 내용에 대한 분석을 제시했어요.