연구진은 비디오를 가이드로 삼아 3D 애니메이션을 제작하는 데 있어 초기 포즈 불일치 문제를 해결하는 R-DMesh 프레임워크를 발표했어요.
R-DMesh는 입력 메쉬의 초기 포즈를 비디오의 시작 상태와 일치시키는 정교화 점프 오프셋을 학습하여 4D 메쉬를 생성하며, Triflow Attention 메커니즘을 활용해 물리적 일관성을 유지해요.
연구진은 R-DMesh를 학습하기 위해 50만 개 이상의 동적 메쉬 시퀀스로 구성된 Video-RDMesh 데이터셋을 구축했으며, 포즈 재타겟팅 및 4D 생성 등 다양한 분야에서 활용 가능성을 입증했어요.