Geometric Action Model(GAM)은 3D 물리 세계의 상호작용을 이해하는 로봇 정책 학습 모델입니다. 기존 모델은 2D 이미지 기반으로 작동했지만, GAM은 사전 학습된 지오메트릭 모델을 활용하여 3D 지오메트리 정보를 활용합니다. GAM은 언어, 고유 수용성, 행동 기록을 기반으로 미래의 잠재 토큰을 예측하여 정확하고 빠른 제어 성능을 보입니다.
GAM은 기존 모델의 2D 이미지 기반 한계를 극복하고 3D 지오메트리 정보를 활용하여 로봇의 접촉 기반 조작 능력을 향상시킵니다. 이를 통해 로봇은 사용자 지시를 이해하고 물체, 카메라, 로봇 행동 간의 상호작용을 추론할 수 있습니다.
시뮬레이션 및 실제 로봇 환경에서 GAM은 기존 모델보다 정확하고 강력하며 빠르고 가벼운 성능을 보여줍니다. 이는 언어 기반의 시간적 세계 모델링을 가능하게 하는 핵심적인 요소입니다.