연구진이 비디오 확산 모델을 활용한 손 동작 재구성 방법인 ViDiHand를 발표했어요. 기존 방법의 한계를 극복하고 ARCTIC, HOT3D, HOI4D 데이터셋에서 기존 방식보다 성능이 뛰어나요. ViDiHand는 검출기, 인필러, 테스트 시간 최적화 없이 전체 프레임을 직접 처리해요.
ViDiHand는 사전 훈련된 비디오 확산 모델의 표현을 활용하여 4D 양손 포즈를 재구성하며, 손을 위한 특징을 전문화하는 렌더링 목표를 통해 작동해요. 이 과정에서 세계적 배경 정보를 유지하면서 손의 특징을 개선해요.
연구 결과, 비디오 확산 모델은 손 동작 재구성을 위한 강력한 기반이 될 수 있으며, 임베디드 AI를 위한 야외 데이터 수집에 유망한 경로를 제시해요. 프로젝트 페이지는 GitHub에서 확인할 수 있어요.