연구진이 멀티뷰 손-객체 상호작용(HOI) 비디오와 3D 포인트 트랙을 동시에 생성하는 프레임워크 HarmoHOI를 공개했어요.
HarmoHOI는 3D 기하학적 신호를 2D 잠재 공간과 정렬하여 도메인 간 격차를 줄이고 기존 모델의 사전 지식을 활용해요.
Global Motion Aligning Diffusion 기술을 통해 3D 트랙을 미터 단위로 정렬하고, 하모니를 유지하며 2D 외형과 3D 모션을 동시에 발전시킬 수 있어요.
HarmoHOI는 시각적 품질, 동작의 자연스러움, 멀티뷰 기하학적 일관성 측면에서 최고 성능을 달성했어요.