연구진이 3D 기하 정보와 동적 환경 인지 로봇 조작을 위한 VLA 프레임워크 Lift3D-VLA를 공개했어요. 기존 VLA 모델의 한계를 극복하기 위해 3D 포인트 클라우드 추론 기능과 시간 일관성 있는 액션 생성 기능을 탑재했어요. 시뮬레이션 및 실제 환경에서 기존 VLA 모델 대비 성능이 향상됐으며, 외부 환경 변화에 대한 일반화 능력도 높였어요.
Lift3D-VLA는 2D 모델 리프팅 전략을 개선하여 3D 포인트를 사전 학습된 2D 위치 임베딩과 정렬하고, Geometry-Centric Masked Autoencoding(GC-MAE)을 통해 3D 구조와 물리적 역학을 학습해요. 또한, LLM의 여러 레이어를 활용하여 시간 일관성 있는 액션 예측을 가능하게 하는 레이어별 시간 액션 모델링을 설계했어요.
시뮬레이션된 22개 작업과 실제 로봇 조작 8개 작업에서 Lift3D-VLA는 기존 VLA 모델보다 평균 성공률이 10.8% 향상되었고, 실제 환경에서는 가장 강력한 기준 모델보다 4% 포인트 더 높은 성능을 보였어요.