연구진은 로봇 액션 예측 모델의 프레임 불일치 문제를 해결하기 위해 로봇 시점 포인트맵을 제안했어요. 포인트맵은 로봇 좌표계의 3D 좌표를 저장하는 이미지로, 기존 2D 비전-언어-액션 모델에 쉽게 통합돼요. RoboCasa 데이터셋에서 기존 방식보다 성능이 향상됐으며, 실제 로봇 실험에서 카메라 위치 변화에 강점을 보였어요.
기존 모델은 카메라 좌표계로 장면을 관찰하지만, 액션은 로봇 좌표계로 정의되어 프레임 불일치 문제가 발생했어요. 이 문제는 고정된 시점에서는 괜찮지만, 다양한 카메라 설정의 데이터셋에서는 일반화가 어려워져요. 포인트맵은 로봇 시점의 3D 정보를 유지하면서 기존 모델 구조를 변경하지 않고 활용할 수 있도록 설계됐어요.
연구 결과, 포인트맵은 pi0.5와 SmolVLA 모델의 성능을 향상시켰고, RGB 이미지만 사용하는 모델보다 실제 로봇 환경에서 더 뛰어난 성능을 보였어요. 특히 카메라 위치가 학습 시와 다를 때 성능 차이가 더욱 두드러졌어요.