연구진은 텍스트-비디오 생성 모델 학습에 있어 데이터 분포와 캡션 품질이 미치는 영향을 분석했어요. 통제된 실험을 위해 다양한 글꼴, 색상, 크기, 위치로 움직이는 글자를 렌더링하는 절차적 테스트베드 'Moving Alphabet'을 개발했어요. 실험 결과, 다양한 콘텐츠와 길이의 균형 잡힌 데이터 분포가 모델의 일반화에 중요하며, 캡션 품질이 모델 성능과 학습 효율성에 큰 영향을 미치는 것으로 나타났어요.
부정확한 캡션으로 학습된 모델은 분류기 자유 가이드 및 고품질 데이터로 미세 조정해도 성능이 회복되지 않았어요.
연구진은 대규모 텍스트-비디오 모델 개발 시 사전 학습 데이터에 대한 과학적 접근의 중요성을 강조하며, 데이터 큐레이션 과정에 더 많은 관심이 필요하다고 주장했어요.