RoboSemanticBench(RSB)는 VLA 모델의 의미론적 기반을 진단하는 새로운 벤치마크입니다. 로봇은 수학 또는 상식 문제를 풀고 정답 블록을 잡아야 하는데, 모델들은 정답 블록을 무작위로 선택하는 경향을 보입니다. RSB는 4지선다 및 10지선다 모드를 포함하며, 기존 VLA 모델들의 성능 격차를 드러냅니다.
RSB는 로봇이 복잡한 지시문 의미를 활용하여 올바른 물리적 대상을 선택하고 조작하는지 평가합니다. 기존 VLA 모델들은 후보 블록을 잡는 데는 능숙하지만, 의미론적으로 올바른 블록을 선택하는 데는 어려움을 겪습니다. 이는 백본 수준의 의미론적 역량과 행동 예측 간의 격차를 보여줍니다.
연구 결과, 많은 모델들이 시각적 또는 지시-행동 단축키를 활용하여 문제를 해결하며, RSB는 이러한 한계를 명확히 드러냅니다. RSB는 VLA 모델의 의미론적 기반을 진단하고 개선하는 데 중요한 도구로 활용될 수 있습니다.