연구진은 MLLM의 시각적 추론 성능을 높이기 위해 LatEnt Noise maSk (Lens)라는 새로운 프레임워크를 제안했어요.
Lens는 질문과 관련된 시각적 증거를 정제하여 MLLM이 더 명확한 시각적 단서를 통해 추론하도록 돕고, 질문과 관련 없는 시각적 토큰에 잠재 노이즈를 주입하여 부가적인 정보를 줄여요.
Lens는 기존 모델 구조나 토큰 시퀀스를 변경하지 않고도 VQA 데이터셋에서 최대 6.4점, 그라운딩 작업에서 최대 6.4점의 성능 향상을 보여줬어요.