연구진은 로봇이 다양한 물체 간의 상호작용을 수행하는 데 필요한 '어디를 조작할 것인가'와 '어떻게 조작할 것인가'라는 두 가지 핵심 과제를 해결하기 위해 HeteroGenManip 프레임워크를 제안했습니다.
HeteroGenManip은 초기 잡기를 구조적 사전 지식을 활용하여 정렬하고, 다양한 물체에 특화된 모델을 활용하여 미세한 기하학적 정보와 가변적인 부위 특징을 통합하는 2단계 프레임워크입니다.
시뮬레이션 및 실제 환경에서 실험 결과, HeteroGenManip은 기존 방식 대비 평균 31% 성능 향상 및 36.7% 향상을 달성하며, 광범위한 유형 설정에서 뛰어난 성능을 보였습니다.