연구팀은 Learn2Chat이라는 새로운 프레임워크를 제안했어요. 이 프레임워크는 사전 학습된 단독 움직임 데이터의 장점을 활용해 대화형 디지털 휴먼의 움직임을 생성해요.
Learn2Chat은 음성으로 인한 움직임과 사회적 피드백을 분리하여, 상호작용 모델링을 더 구조화할 수 있도록 설계됐어요.
Cross-Attentive Interaction Latent Prediction 모듈을 통해 음성 신호를 상호작용 잠재력으로 변환하고, 이를 통해 일관성 있고 동기화된 움직임을 생성해요.
DualTalk 벤치마크에서 최고 성능을 달성했으며, 다양한 사전 학습된 단독 움직임 모델과 통합될 수 있어요.