연구진은 심한 가려움과 모호한 접촉으로 인한 야외 에고센트릭 RGB 이미지에서 정확한 3D 손-객체 자세를 추정하는 어려움을 해결하기 위해 EPIC-Contact 데이터셋과 HOPformer 모델을 발표했어요.
EPIC-Contact 데이터셋은 2.3K 클립(62.3K 프레임)으로, 3D 손-객체 접촉 정보와 자세 메쉬를 포함하고 있으며, HOPformer는 손의 우선 정보를 기반으로 객체 특징을 예측하는 트랜스포머 모델이에요.
HOPformer는 ARCTIC 데이터셋에서 82.4%의 성공률을 기록하며 기존 최고 성능보다 6.2% 향상되었고, EPIC-Contact 데이터셋에서는 성공률을 두 배로 늘리며 접촉 편차를 75% 줄였어요.