연구진은 시각 언어 모델(VLM)의 잠재 변수 정렬 방식이 성능에 부정적인 영향을 미친다는 사실을 밝혀냈습니다. 기존 방식은 잠재 변수와 시각적 목표 간의 코사인 유사성 정렬을 훈련 손실과 품질 지표로 사용했지만, 실제로는 정확도와 상관관계가 낮았습니다 (r=-0.94).
PRISM 진단 도구를 통해 분석한 결과, 잠재 변수는 대부분 우회되며, 답변은 잠재 변수 이후에서 디코딩됩니다. 잠재 변수를 손상시키더라도 정확도는 최대 4점만 변동합니다.
연구 결과는 보조 목표가 잠재 변수를 최적화하는 것이 아니라 공유 파라미터를 통해 언어 모델을 재구성한다는 정보 병목 현상 해석과 일치합니다.