FoMoVLA는 현재 관찰과 언어를 기반으로 반응하는 VLA 모델의 한계를 극복하기 위해 시각적 예측과 동작 가이드를 결합한 프레임워크입니다. 미래 상태 예측과 점 추적을 함께 학습하여 연속적인 행동 정책을 향상시킵니다.
FoMoVLA는 미래 상태를 예측하기 위해 예측 토큰을 사용하고, 2D 점 궤적을 통해 간결한 기하학적 동작을 모델링하며, 이를 크로스 어텐션 모듈로 연결합니다.
LIBERO, RoboCasa GR-1 Tabletop, LIBERO-Plus에서 실험을 통해 최첨단 성능과 뛰어난 제로샷 일반화 능력을 입증했습니다.