연구진이 건축 공간 지능을 평가하는 벤치마크 ArchSIBench를 공개했어요. 이는 로봇 내비게이션, 3D 장면 이해 등과 관련된 시각-언어 모델(VLM)의 고급 공간 인지 능력을 측정하기 위해 고안됐어요.
ArchSIBench는 공간 인식, 추론, 내비게이션, 변환, 구성 등 5가지 핵심 차원을 포함하며, 건축 전문가가 직접 3,000개의 질문-답변 쌍을 제작했어요.
평가 결과, 대부분의 VLM은 인간 수준의 건축 공간 지능을 보이지 않지만, 일부 최첨단 모델은 건축 훈련을 받지 않았음에도 인간 평가자에 근접하는 성능을 보여줬어요.