연구진이 다양한 모달 입력을 일관성 있는 비디오-3D 페어로 변환하는 프레임워크 'Align4D'를 공개했어요. Align4D는 비디오를 통해 4D 모션을 가이드하고 3D 데이터를 통해 4D 형상을 만들어요.
Align4D는 객체 거리 정렬, 모션-지오메트리 공동 정렬, 비동기 최적화 등 세 가지 핵심 기술을 도입하여 4D 생성의 품질과 일관성을 높였어요.
연구진은 Align4D 성능을 평가하기 위해 X4D 데이터셋을 제안했으며, 실험 결과 기존 방법보다 뛰어난 성능을 보여줬어요.