자가 회귀 이미지 생성 모델은 표현력이 뛰어나지만 계산 비용이 많이 들어 모델 압축이 필요해요. 본 연구는 이미지 자가 회귀 모델을 위한 지식 증류 전략을 처음으로 체계적으로 연구했어요. 기존 방법이 이미지에 직접 적용되지 않는다는 점을 발견하고, 학생 샘플 기반의 증류 프레임워크 VarKD를 제안했어요.
VarKD는 학생 샘플을 기반으로 증류하며, 교사 감독을 선택적으로 적용하고 토큰 수준의 모호성을 줄여요. ImageNet 데이터셋에서 다양한 자가 회귀 모델 구조에 대한 실험 결과, VarKD가 기존 증류 방법보다 우수한 성능을 보였어요.
VarKD는 대규모 모델과의 성능 격차를 줄이는 데 기여하며, 이미지 자가 회귀 모델 압축 연구에 새로운 방향을 제시해요.