연구진은 데이터 증류 방식인 CAKE가 자동 인코더에도 적용될 수 있는지 MNIST 데이터셋으로 실험했어요. CAKE 방식은 분류기에서 의사 결정 경계를 활용하지만, 자동 인코더에서는 각 기능별 분류기가 공유되는 병목 현상 때문에 효과적이지 않아요. 연구진은 경계 추적 방식 대신 다양성 있는 샘플을 생성하는 방식이 데이터 없는 생성 증류에 효과적임을 확인했어요.
CAKE 방식은 인스턴스 단위 목표를 사용하지만, 디코더는 공유되는 병목 현상으로 인해 묶여 있는 기능별 분류기 배열로 작동해요. 이러한 묶여 있는 출력에 대해 개별적으로 대조 목표를 샘플링하면 학습된 잠재 공간의 기하학을 위반하고 유용한 경계 샘플 대신 심각한 기울기 충돌을 일으켜요.
연구진은 경계 추적 방식의 문제를 해결하기 위해 다양성을 고려한 샘플링 방식을 제안했어요. 이 방식은 잠재 공간의 기하학적 구조를 존중하며 데이터 없는 생성 증류의 효과적인 기준점을 제시해요.