연구진은 표현 오토인코더(RAE)의 복잡한 잠재 공간이 증류 과정에서 불안정성을 야기한다는 문제점을 지적했어요. 이를 해결하기 위해 새로운 방법인 Drift-RAE를 제안하여 RAE 잠재 공간에서 흐름 모델을 증류했어요. Drift-RAE는 기존 방식보다 1.77의 FID 점수를 달성하며, 기존 드리프트 모델에 버금가는 성능을 냈어요.
Drift-RAE는 사전 훈련된 흐름 모델을 RAE 잠재 공간에서 증류하며, 흐름 방향을 이론적으로 조정하여 훈련 안정성을 높이는 방식으로 작동해요. 연구진은 다양한 오토인코더의 곡률과 등방성 통계를 정량적으로 분석하여 이론적 근거를 확보했어요.
연구 결과, Drift-RAE는 ImageNet 256 데이터셋에서 1만 2천 번의 증류 단계로 1.77의 FID 점수를 기록하며, 기존 RAE 증류 방법보다 뛰어난 성능을 보였고, 원본 드리프트 모델과 유사한 결과를 냈어요. 코드 공개 예정입니다.