연구진은 멀티모달 RAG 시스템에서 발생하는 문제점을 해결하기 위해 GranuRAG 프레임워크를 제안했어요. GranuRAG는 시각적 요소를 검색 단위로 활용하여 다중 입증 검색을 수행하고, 오류 진단을 투명하게 할 수 있도록 설계됐어요. 실험 결과, GranuRAG는 기존 모델 대비 최대 29.2% 성능 향상을 보였어요.
GranuVistaVQA 벤치마크는 실제 랜드마크의 요소 레벨 주석을 활용하여 부분 관찰 문제를 포착하고, 시각적 요소의 입증 검색을 위한 다중 입증 교차 모달 정렬을 지원해요. 이를 통해 사용자의 미세한 질문에 대한 답변 정확도를 높일 수 있어요.
기존 RAG 시스템은 장면 전체를 검색 단위로 사용해 사용자 질문과 불일치를 일으키고, 오류를 검증하기 어렵다는 한계가 있었어요. GranuRAG는 이러한 문제를 해결하고, 멀티모달 RAG 시스템의 신뢰도를 높이는 데 기여할 것으로 기대돼요.