연구진은 자연 상태의 비디오에서 공유된 표준 객체 프레임을 자체 학습 방식으로 얻는 방법을 제시했어요. 기존 방식은 수동 어노테이션으로 인해 확장성이 떨어졌지만, 이 방법은 Structure-from-Motion에서 얻은 노이즈 카메라 포즈만 사용해요.
핵심 아이디어는 카테고리별 세부 사항이 없는 대략적인 표준 메시를 통해 모든 학습 시퀀스를 전달하는 것입니다. 이미지 픽셀에서 메시로의 밀집 대응을 학습하고 노이즈 SfM 기하학적 데이터를 기반으로 시퀀스별 정렬을 추정하여 공유된 표준 프레임을 얻어요.
16만 개의 자연 상태 객체 비디오로 자체 학습한 결과, 표준 포즈 감독을 사용하는 기존 방법과 경쟁력 있는 정확도를 달성했어요. 코드는 GitHub에서 확인할 수 있어요.