본 연구는 야생 이미지에서 픽셀 단위 의미 좌우 예측의 어려움을 해결하기 위한 비지도 학습 프레임워크를 제안합니다. 3D 데이터의 정점 단위 좌우 이해 기술을 활용하여 3D 형태와 이미지 데이터를 함께 분석합니다. 실험 결과, 자동차나 기차와 같이 완전히 새로운 3D 객체 범주에서도 고품질의 의미 좌우 예측이 가능했어요.
사람이나 네 발 동물 형태의 중규모 3D 형태 데이터셋과 다양한 야생 이미지 데이터를 결합하는 것으로 충분합니다. 기존 방법 대비 렌더링 및 야생 이미지 데이터셋에서 우수한 성능을 보여줬어요.
본 연구는 3D 정보 부족, 가려짐, 객체 자세 변화, 부분성 등의 어려움을 극복하고 픽셀 단위 의미 좌우 예측의 새로운 가능성을 제시합니다.