연구진은 멀티모달 LLM(MLLM)이 시각 정보와 텍스트 정보가 상충될 때 텍스트를 우선하는 현상(late-layer textual override)을 발견했어요.
MLLM은 초기 레이어에서 시각 정보를 기반으로 정확한 예측을 하지만, 최종 출력 단계에서 텍스트에 맞춰 예측을 변경하는 것으로 나타났어요.
연구진은 예측 변화 방향을 분석하여 시각 정보를 억누르는 예측을 복구하는 CALRD라는 새로운 방법을 제안했고, 5가지 MLLM에서 최대 9.4% 성능 향상을 달성했어요.