연구진이 음성·영상 동기화 생성 프레임워크 NAVA를 제안했어요. 기존 방식의 한계를 극복하기 위해 음성·영상 대응 관계를 우선 설정하고 외부 맥락을 활용해 공동 노이즈 제거 과정을 거쳐요.
NAVA는 63억 파라미터로 Verse-Bench와 Seed-TTS 실험에서 우수한 영상 품질, 정확한 음성·영상 동기화, 경쟁력 있는 음성 품질을 달성했어요.
Timbre-in-Context Conditioning을 통해 음성 참조 음색을 제어할 수 있으며, 사용자 연구에서도 긍정적인 평가를 받았어요.