연구팀은 MLLM에 다양한 사전 지식을 통합할 때 각 모델이 서로 다른 작업에 도움이 되는 상호 보완적인 공간적 사전 정보를 제공한다는 사실을 밝혀냈습니다.
ViPS는 다양한 시각적 사전 정보를 MLLM에 통합하여 공간 이해 능력을 향상시키는 새로운 프레임워크로, 효율적인 사전 프록시와 동적 사전 융합 메커니즘을 도입합니다.
실험 결과, ViPS는 다양한 시각적 사전 정보를 조화롭게 통합하여 공간 추론 및 3D 공간 이해 벤치마크에서 최고 성능을 달성했습니다.