연구진은 다중 모달 모델의 통합된 시각적 토큰 공간 구축을 위해 Twins라는 새로운 방법을 제안했어요. Twins는 ViT와 VAE 특징을 토큰 그리드에 결합하여 이해와 합성을 위한 불일치된 잠재 공간 문제를 해결합니다.
Twins 모델은 ViT와 VAE 구성 요소의 최적화 불균형 문제를 해결하기 위해 focal regression 객관 함수를 적용하여 이미지넷에서 최대 10.57 gFID 향상을 달성했어요.
Twins는 다중 모달 이해 벤치마크에서 경쟁력을 보이며 재구성 충실도를 개선하여 이해 및 생성 지향적 표현 간의 격차를 좁혔습니다.