연구진은 기존 이미지 토크나이저의 한계를 지적하며, 이미지 시퀀스 내 위치별 조건부 엔트로피가 급격히 감소하는 '엔트로피 절벽' 현상을 발견했습니다.
이러한 문제를 해결하기 위해 가변 코드북 크기 양자화(VCQ) 방식을 제안하여, 시퀀스 길이에 따라 코드북 크기를 증가시키면서 손실 함수와 파라미터 수를 유지했습니다.
VCQ 방식은 기존 모델 대비 gFID 점수를 크게 개선하고, 684M 파라미터로도 뛰어난 성능을 달성하며, 자연스러운 의미 계층 구조를 유도하는 효과를 보였습니다.