연구진은 자율 주행 및 로봇 의사 결정에 사용되는 3D 점유 의미 데이터의 오류가 안전에 영향을 미칠 수 있음을 지적했어요. 기존 VLM 전략의 한계를 분석하고, 이를 개선하기 위해 VISA라는 새로운 훈련 방식인 인스턴스 의미 감사 방법을 제안했어요. VISA는 누센스 데이터셋에서 OccWorld의 mIoU를 19.06에서 20.05로, GaussianWorld의 mIoU를 21.36에서 21.91로 향상시켰어요.
VISA는 오프라인 VLM을 활용하여 각 물리적 객체 인스턴스에 대한 클래스 가설, 혼동 가능성, 신뢰도, 속성, 증거를 수집하고 객체 추적을 통해 이를 전파해요. 이 감사는 일치하는 3D 객체 옥셀에 연결되고 신뢰도 가중치 분류학, 속성 요소, 장면 수준 감사 그래프 손실을 통해 의미 있는 로짓으로 증류돼요.
연구 결과는 VLM이 일반적인 캡션 임베딩 대상이 아닌 신뢰도 기반 의미 감사에 더 적합하다는 것을 시사하며, 이는 기존 점유 월드 모델의 성능을 향상시키는 데 기여할 수 있어요.