연구진은 2D 이미지 학습으로 인해 3D 인지 능력이 부족한 기존 모델의 한계를 극복하기 위해 3D 기반 사전 지식을 활용하는 새로운 프레임워크를 개발했어요.
SAM3D를 활용해 객체의 3D 기하 구조와 자세를 추정하고, 렌더링 및 비교 최적화를 통해 자세를 개선하며, PartField 기술자로 3D 정보를 이미지 평면에 반영해요.
DINO 및 Stable Diffusion 특징과 결합하여 의미론적 대응을 개선하고, 수동적인 기하학적 감독을 줄이며, GitHub에서 코드와 모델을 확인할 수 있어요.