ComPose는 RGB 비디오에서 손 움직임을 고려한 6DoF 객체 추적 프레임워크입니다. 기존 방식이 외부 정보에 의존하고 손으로 인한 가려움에 취약한 문제점을 개선했습니다. 객체와 손의 움직임을 결합하여 객체 추적하고, 손 관절을 선택적으로 활용하여 안정적인 3D 객체 궤적을 생성합니다. 로봇 조작에 활용될 수 있도록 인간 행동을 온라인 비디오에서 재구성할 수 있습니다.
기존 방식은 깊이 데이터나 3D 템플릿과 같은 외부 정보에 의존했지만, ComPose는 손을 단순히 가리개로 취급하지 않고 보조 신호로 활용합니다. 객체와 손에서 파생된 신호를 결합하여 움직임을 추정하고, 보이는 기하학적 증거와 학습된 교정을 사용하여 객체 움직임을 개선합니다.
실험 결과, ComPose는 정확하고 효율적이며 심한 손 가려움과 기하학적 모호함 속에서도 견고한 성능을 보였습니다. 결과 궤적은 로봇 조작에 효과적으로 활용될 수 있습니다.