Vision-Language 모델(VLM)은 고품질 이미지 기반 시각 질의응답에서는 좋은 성능을 보이지만, 명확하게 보이는 정보 외의 지식을 요구하는 질문에는 어려움을 겪습니다. 이러한 상황에서 불확실성 측정은 실패 가능성을 나타낼 뿐만 아니라, 인지, 개체 인식, 지식 검색과 같은 측면에서 왜 불확실한지를 진단해야 합니다. 본 연구는 VLM 오류의 원인을 분리하고, 사전 생성 신호가 이러한 오류 원인을 예측할 수 있는지 조사합니다.
연구 결과, VLM 오류는 시각적 또는 인식 병목 현상에서 비롯되는 경우가 있는 반면, 관련 개체가 식별된 후에도 지속되는 경우가 있습니다. 시각적 토큰 표현은 인식 관련 오류를 가장 잘 포착하고, 프롬프트 기반 숨겨진 상태는 인식 후에도 남는 오류를 더 잘 포착합니다.
이러한 사전 생성 신호는 모델이 답변을 생성하기 전에 오류 원인을 효율적으로 예측할 수 있도록 하여, 이미지 수정, 개체 인식 지원, 외부 검색과 같은 맞춤형 개입을 위한 불확실한 사례를 라우팅할 수 있도록 합니다.