데이터 접근이 제한된 환경에서 지식 증류를 수행하는 블랙박스 데이터 프리 지식 증류 문제를 해결하기 위한 새로운 프레임워크 DIP-KD가 제안됐어요.
DIP-KD는 다양한 시각적 패턴과 의미를 포착하기 위한 이미지 사전 합성, 대비 학습을 통한 샘플 구별 강화, 그리고 새로운 프라이머 학생을 활용한 소프트 확률 지식 증류의 세 단계로 구성돼요.
12개 벤치마크 평가 결과, DIP-KD는 기존 방식보다 우수한 성능을 보였으며, 데이터 다양성이 제한된 환경에서 지식 획득에 중요한 요소임을 확인했어요.