본 연구는 듀엣 댄스와 같이 복잡한 춤 동작 패턴과 미묘한 인간 상호작용을 모델링하는 데 어려움을 겪는 반응형 동작 합성을 개선하기 위한 새로운 프레임워크를 제안합니다.
첫 번째 단계에서는 각 신체 부위의 의존성을 동적으로 모델링하여 동작 불일치를 방지하는 모션 VQ-VAE를 도입하고, 두 번째 단계에서는 상호작용 모델링을 위한 접촉 행렬을 함께 생성하는 접촉 인식 확산 모델을 사용합니다.
실험 결과, 제안하는 방법은 Duolando보다 낮은 FID 및 높은 BED 값을 보여주며, 상호작용 충실도와 리듬 동기화가 향상된 것으로 나타났습니다.