연구진이 장막 영상에서 RAG의 성능을 개선하기 위해 새로운 벤치마크 V-RAGBench를 발표했어요. 기존 벤치마크는 영상 없이도 답변이 가능해 검색 오류를 가렸다는 문제점을 개선했습니다. CARVE라는 새로운 방법론은 다양한 설정에서 병렬 검색을 수행하고, 청크별 적응형 재순위를 통해 각 청크에 최적의 설정을 적용합니다.
V-RAGBench는 질문, 증거 청크, 답변의 3가지 요소를 묶어 검색과 생성을 분리하여 평가할 수 있도록 설계되었어요. CARVE는 기존 VideoRAG 방법보다 뛰어난 성능을 보였으며, 청크별로 다른 설정을 적용하여 생성기에 입력하는 방식으로 작동합니다.
CARVE는 청크 수준의 의사 결정이 검색과 생성의 두 단계 모두에 영향을 미치는 혼합 증거 형식을 생성하며, 기존의 질문 수준 방법으로는 불가능한 방식으로 작동합니다.