연구진이 비디오 이해와 생성을 통합하는 Vega 프레임워크를 제안했어요. Vega는 텍스트와 시각적 표현을 공동 모델링하고, AR 예측과 디퓨전 기반 렌더링을 결합한 하이브리드 아키텍처를 사용해요.
Vega는 의미 있는 시각적 토큰을 예측하여 디퓨전 모듈이 고해상도 비디오 프레임을 렌더링하도록 안내하며, VBench와 VideoMME 벤치마크에서 뛰어난 성능을 보여줬어요.
비디오는 공간 의미론과 시간 동역학을 모두 포착하므로, 정적 이미지보다 통합 멀티모달 모델링에 더 적합한 모달리티라고 연구진은 설명했어요.