연구진이 로봇의 시각-언어 이해와 물리적 조작 능력을 향상시키는 GEM 모델을 발표했어요. GEM은 깊이 지도 생성 작업을 VLM 사전 훈련 단계에 통합하여 시맨틱 이해와 물리적 조작 능력을 동시에 개선해요.
GEM 모델 훈련을 위해 다양한 데이터와 깊이 지도 정보를 담은 GEM-4M 데이터셋을 구축하고 공개했어요. 이 데이터셋은 로봇의 상황 판단, 추론, 계획 능력 향상에 도움을 줘요.
GEM 모델은 다양한 로봇 벤치마크에서 최고 성능을 달성했으며, 실제 환경에서도 뛰어난 작업 수행 능력을 보여줘요. 관련 코드, 모델, 데이터셋은 GitHub에서 확인할 수 있어요.