GaussianEmoTalker는 실시간 감정 표현 이머시브 대화형 아바타 합성을 위한 프레임워크입니다. 기존 방식과 달리 감정 애니메이션을 중립 상태에서 감정 상태로의 변환 문제로 정의하여 표현력을 높였습니다. 3D 가우시안 스플래팅 기반으로 제작되어 경쟁력 있는 화질과 정확한 입술 동기화, 제어 가능한 감정 표현, 실시간 렌더링을 제공합니다.
GaussianEmoTalker는 가우시안 블렌드셰이프를 활용하여 개별 아바타의 중립 상태를 구축하고, 오디오 특징, 감정 카테고리, 강도 인코딩을 결합하여 감정 기반 잔여 변형을 예측합니다. 공간-오디오-감정 어텐션 모듈을 통해 가우시안 속성 오프셋을 추정하여 표현력과 시간적 안정성을 확보했습니다.
프로젝트 페이지는 https://njust-yang.github.io/GaussianEmoTalker.github.io에서 확인할 수 있으며, 연구 결과는 기존 방식 대비 향상된 화질, 입술 동기화, 감정 표현 제어, 실시간 렌더링 성능을 보여줍니다.