연구팀은 시각-언어 모델(VLM)의 객체 계수 오류 원인을 분석했습니다. VLM 내부 표현에는 정확한 계수가 담겨 있지만, 출력 과정에서 오류가 발생하는 것으로 나타났습니다. 내부 오류 감지기를 활용한 자체 수정 방법을 통해 계수 정확도를 최대 15.6% 향상시켰습니다.
계수 오류 감지를 위한 내부 표현 탐색(probe) 훈련 결과, VLM은 정확한 계수를 인코딩하지만, 출력 방향이 잘못 맞춰진 것으로 확인됐습니다. 인과적 개입 실험을 통해 계수 관련 probe 방향을 강화하면 모델의 계수 성능이 향상됨을 검증했습니다.
연구팀은 내부 오류 감지기를 활용한 자체 수정 방법을 제안했습니다. 모델이 실패할 것으로 예측될 때만 재-프롬프팅하여 추론 시간 개입만으로 계수 정확도를 개선했습니다.