연구진이 비디오 생성 모델의 잠재 공간을 개선하기 위해 VideoRAE라는 표현 자동 인코더를 개발했어요.
VideoRAE는 V-JEPA 2, VideoMAEv2와 같은 비디오 파운데이션 모델의 다중 스케일 특징을 활용해 가볍게 압축하며, 연속적인 잠재 공간과 이산적인 토큰을 모두 지원해요.
UCF-101 데이터셋에서 기존 자동 인코더 기반 모델보다 5배 빠른 수렴 속도를 보였으며, 2B 규모의 텍스트-비디오 생성 실험에서 LTX-VAE를 대체하며 더 빠른 수렴을 달성했어요.