연구진은 멀티모달 LLM의 시각 정보 활용 부족과 생성 과정에서 시각-언어 정합성 저하 문제를 해결하기 위해 Vision Inference Former (VIF)를 제안했어요.
VIF는 순수 시각 표현과 모델 출력 공간을 직접 연결하는 경량화된 모듈로, 생성 과정 전반에 걸쳐 시각 정보를 지속적으로 주입하여 시각 콘텐츠에 대한 모델의 집중도를 높여요.
14개의 벤치마크 테스트에서 VIF는 다양한 아키텍처에서 모델 성능을 향상시켰으며, 추가적인 오버헤드는 최소화했어요. GitHub에서 관련 코드를 확인할 수 있어요.