이 연구는 야생 이미지와 무질감 3D 형태 간의 분할-분할 대응 관계를 추정하는 과제를 다룹니다. 이미지와 3D 형태 간의 외형, 기하학적 구조, 시점 차이가 크기 때문에 매우 어려운 과제입니다. 연구진은 2D 비전 모델에서 추출한 심층 시각적 특징을 3D 형태 표면에 적용하여 이미지 픽셀과 형태 정점 간의 유사성을 계산합니다.
이미지 분할 영역 내에서 가장 유사한 이미지 픽셀을 가진 정점을 '최적 분할 친구'로 식별하여 의미적으로 대응하는 형태 부분을 신뢰성 있게 찾습니다. 3D 특징을 활용하여 3D 형태를 직접 분할하여 대응 과정을 부트스트랩합니다.
다양한 이미지-형태 쌍에서 일반성과 견고함을 입증하여 정확하고 의미 있는 대응 관계를 보여줍니다.