연구진이 음성 기반 3D 얼굴 애니메이션 시스템을 개발하여 언리얼 엔진에서 바로 사용 가능하도록 했습니다. ARKit 호환 표현 방식을 사용하여 기존 파이프라인과 호환되지 않는 문제를 해결했습니다.
MEAD 코퍼스를 MediaPipe로 변환하여 3DMEAD-ARKit 데이터 세트를 구축하고 FaceDiffuser와 ProbTalk3D-X를 재훈련하여 감정 제어가 가능한 애니메이션을 생성했습니다.
Epic Games의 MetaHuman 애니메이터와 Nvidia Audio2Face를 비교한 결과, 학술 및 상업 파이프라인 간 비교의 중요성을 확인했으며, 시그래프 2026에서 데모를 진행할 예정입니다.