연구진이 비전-언어 모델의 전략적 추론 능력을 평가하기 위한 새로운 벤치마크 RTSGameBench를 공개했어요. 이는 협력 및 경쟁 환경에서 불확실성 속에서 동료의 행동을 예측하고 영향을 미치는 능력을 측정하는 데 중점을 둡니다.
RTSGameBench는 Beyond All Reason 게임을 기반으로 하며, 다양한 대결 구조와 개별 전략 역량을 진단하는 미니 게임을 제공하고, 사용자 정의 쿼리를 새로운 미니 게임으로 변환하는 자체 진화 생성 프레임워크를 포함합니다.
실험 결과, 최신 비전-언어 모델들이 복잡한 협력 및 대규모 작업에서 어려움을 겪는다는 것을 확인했으며, 이를 위해 RTSGameAgent를 제공하여 대규모 RTS 게임에서 작동할 수 있도록 지원합니다.