연구진은 로봇 데이터로 fine-tuning 된 VLA 모델이 상식과 사실 지식을 얼마나 유지하는지 평가하는 Act2Answer 프로토콜을 개발했어요.
Act2Answer는 VLM 지식 벤치마크를 VLA 평가로 전환하여, 에이전트가 행동을 통해 답을 선택하는 짧은 에피소드를 활용해 상식과 세계 지식을 측정해요.
7개의 VLA 모델과 9개의 VLM 기준선 분석 결과, VLA 모델은 단순 개념에서는 좋은 성능을 보이지만, 풍부한 의미 범주에서는 지식 유지 격차가 큰 것으로 나타났어요.