연구진은 벡터 양자화(VQ) 훈련 불안정성과 코드북 붕괴 원인이 특징 벡터와 코드 벡터 분포 불일치에서 비롯된다고 밝혔습니다. 이를 해결하기 위해 특징 벡터와 코드 벡터 분포를 일치시키는 분포 일치 프레임워크를 제안했습니다. Wasserstein 기반 객관 함수와 최대 평균 차이 기반 비모수적 대안을 통해 코드북 훈련 안정성과 효율성을 개선했습니다.
제안하는 방법은 이론적 분석과 실험적 평가를 통해 기존 VQ 방법의 한계를 극복하고, 시각적 토큰화 벤치마크에서 효과와 견고성을 입증했습니다.
연구진은 특징 벡터와 코드 벡터 분포를 일치시키는 것이 훈련 불안정성과 코드북 붕괴를 완화하는 통합 메커니즘임을 보였습니다. 이는 VQ 방법론에 대한 새로운 통찰력을 제공하며, 향후 연구 방향을 제시합니다.