SpaceDG는 시각 정보 손상에 대한 공간 이해 능력을 평가하는 최초의 대규모 데이터셋입니다. 3D Gaussian Splatting(3DGS) 렌더링을 활용하여 9가지 유형의 시각 정보 손상을 현실적으로 시뮬레이션합니다.
SpaceDG-Bench는 11가지 추론 범주와 9가지 시각 정보 손상 유형을 포괄하는 1만 개 이상의 VQA 인스턴스를 포함하는 인간 검증 벤치마크입니다.
25개의 MLLM을 평가한 결과, 시각 정보 손상은 공간 추론 능력을 일관되게 저하시키며, 이는 중요한 내구성 격차를 드러냅니다.
SpaceDG를 활용한 파인튜닝은 시각 정보 손상에 대한 내구성을 향상시키고, 심지어 손상된 환경에서 인간 수준의 성능을 능가하며, 깨끗한 이미지에서는 성능 저하 없이 가능합니다.