SeededGrasp는 복잡한 환경에서 언어 지침에 따라 로봇이 물건을 집는 새로운 프레임워크입니다. VLM을 활용해 집기 위한 시드 포인트를 예측하고, 가벼운 집기 생성 모델로 이어지는 구조로 설계됐습니다. 다중 로봇 환경에서도 활용 가능하며, 기존 방식보다 데이터와 연산 비용을 절감합니다.
연구팀은 SeededGrasp 학습을 위해 250만 개 이상의 집기 데이터를 포함하는 새로운 다중 로봇 테이블톱 집기 데이터셋을 공개했습니다. 시뮬레이션 환경에서 72%, 실제 환경에서는 78%의 성공률을 기록하며 기존 방식보다 우수한 성능을 보였습니다.
프로젝트 데이터 및 코드는 GitHub에서 확인할 수 있습니다.