HandsOnWorld는 마커 기반 모션 캡처 없이 일상적인 단안 비디오에서 손동작을 제어하는 새로운 프레임워크입니다. 기존 방식의 한계를 극복하기 위해 3D 손동작을 직접 추정하고, 주인공 중심의 데이터셋 'EgoVid-Pro'를 구축했습니다. Plücker Hand Map 기술로 카메라와 손동작의 연관성을 해소하여, 이전 방식보다 더 정확한 제어와 높은 재현율을 달성했습니다.
EgoVid-Pro 데이터셋은 10만 개 이상의 클립과 약 1200만 프레임을 포함하며, 다양한 일상 풍경을 담고 있습니다. 이는 기존 연구에서 부족했던 다양한 환경에서의 손동작 제어 가능성을 높입니다. HandsOnWorld는 실험 결과, 기존 방식보다 뛰어난 재현율과 제어 정확도를 보여주었습니다.
연구팀은 HandsOnWorld가 실험실 환경을 벗어나 실제 일상적인 장면에서도 잘 작동하며, 3D 손동작 추정 및 제어 분야에 새로운 가능성을 제시한다고 밝혔습니다.