HeyGen이 비디오 참조를 활용한 새로운 대화형 아바타 생성 프레임워크 TAVR을 공개했어요. 기존 방식의 단점을 극복하고 배경 맞춤형 고품질 아바타 합성이 가능하도록 설계됐어요. TAVR은 토큰 선택 모듈과 3단계 학습 방식으로 영상의 시간적 맥락과 장면 간 격차를 효과적으로 처리해요.
TAVR은 동일 장면 비디오 사전 학습을 통해 외형 복사를 기반으로 하고, 이후 교차 장면 참조 미세 조정을 통해 강력한 교차 장면 적응력을 확보했어요. 마지막으로, 강화 학습을 통해 생성된 결과물을 신원 기반 보상에 맞춰 최대화했어요.
연구팀은 교차 장면 강건성을 체계적으로 평가하기 위해 158개의 교차 장면 비디오 쌍으로 구성된 새로운 벤치마크를 구축했고, TAVR은 기존 방식보다 양질의 결과물을 보여줬으며 이미 프로덕션에 적용됐어요.