연구진이 505개 실제 물체에 대한 2만 건 이상의 촉각 접촉 데이터를 수집하여 시각-촉각 데이터셋을 구축했어요. 이를 바탕으로 시각-촉각 로컬-글로벌 정렬 능력을 평가하는 Vis-Tac Holographic Matching 벤치마크를 설계했어요. 패치 정렬(VTPA) 방법을 제안하여 시각-촉각 표현 학습 성능을 향상시켰고, 기존 방식보다 우수한 성능을 보였어요.
Tac-DINO는 시각과 촉각 정보를 결합하여 물체의 특징을 학습하는 새로운 방법론이에요. 기존 연구의 한계를 극복하기 위해 대규모 촉각 데이터셋을 구축하고, 시각-촉각 정렬을 위한 벤치마크를 제시했어요.
실험 결과, Tac-DINO는 기존 방식보다 뛰어난 성능을 보이며, 전체 물체 이미지와의 정렬 능력을 입증했어요.