본 연구는 차량 내 장면 이해(ISU) 시스템 테스트를 위한 자동화된 방법인 ISU-Test를 소개합니다. 실제 차량 데이터를 수집하는 대신 렌더링 기반 장면 생성과 검색 기반 테스트를 결합하여 다양한 시나리오를 생성합니다. 실험 결과, ISU-Test는 기존 방식보다 최대 10배 높은 오류율과 3.6배 높은 오류 커버리지를 달성했습니다.
ISU-Test는 질문 응답과 캡셔닝 두 가지 사례 연구에서 산업용 프로토타입과 오픈소스 비전-언어 모델(VLM)을 평가했습니다. 이를 통해 VLM이 생성하는 장면 설명의 불완전성, 오류, 오해를 검증합니다.
ISU-Test는 차량 내 시나리오 파라미터를 체계적으로 수정하여 다양한 구성을 탐색하고, 실제 차량 데이터 수집의 어려움을 극복하는 데 기여합니다.