연구진은 다중 모드 검색 증강 생성(RAG)에서 시각 증거 선택의 유틸리티를 정보 이론적 관점에서 재정의했어요. 시각 증거의 유틸리티는 모델 출력 분포에 미치는 정보 획득량으로 정의하며, 이를 통해 추론에 필요한 핵심 시각 정보를 효과적으로 선택할 수 있도록 합니다.
답변 공간 최적화의 어려움을 해결하기 위해, 연구진은 잠재적인 증거 유용성을 개념화하고, 특정 조건 하에서 이 잠재 변수에 대한 정보 획득량으로 증거 순위를 매기는 것이 답변 공간 유용성과 동등하다는 이론적 근거를 제시했어요.
MRAG-Bench와 Visual-RAG에서 다양한 모델 패밀리를 대상으로 실험한 결과, 제안하는 방법은 기존 RAG 방식보다 우수한 성능을 보이며 계산 비용을 크게 줄이는 것을 확인했어요.