Qwen2-VL-2B-Instruct와 SmolVLM-Instruct 두 개의 소형 VLM을 실제 이미지 손상 환경에서 평가했어요. 모델이 말하는 신뢰도와 내부 토큰 확률을 비교한 결과 큰 차이를 보였어요.
Qwen2-VL은 자연어 신뢰도가 거의 일정하고 오류 감지 능력은 무작위 수준인 반면, 내부 토큰 확률은 정답과 오답을 효과적으로 구분했어요.
SmolVLM은 언어적 신뢰도 확보가 어려웠고, 내부 확률은 여전히 무작위 수준 이상의 오류 감지 능력을 보였어요.
두 모델 모두 심한 노출 부족 상황에서는 정확도가 급격히 떨어지면서 신뢰도 신호가 거의 변하지 않고 오류 감지 능력이 무작위 수준으로 떨어지는 한계가 있었어요.