연구진은 MLLM 디코딩 시 어텐션이 불필요한 이미지 토큰에 집중하는 현상을 주목했어요. 기존 연구가 이를 노이즈로 치부하고 강제로 수정하는 대신, 이러한 토큰이 시각 및 내러티브 논리를 담고 있다고 주장합니다.
Adversarial Counter-Commonsense Equilibrium (ACE)라는 새로운 프레임워크를 제안하여, 반상식 패치를 통해 시각적 맥락을 교란시켜 균형을 맞춥니다.
ACE는 모델 신뢰도를 향상시키면서 추론 오버헤드를 최소화하는 플러그 앤 플레이 전략으로, 광범위한 실험을 통해 효과를 입증했습니다.