연구진은 제한된 문맥 예산 하에서 RAG에서 문서 재현율이 적절한 최적화 지표가 아니라고 주장했어요.
새로운 진단 도구 'answer-in-context'는 골드 답변이 패킹된 문맥 내 연속 스팬으로 생존하는지 측정하며, 재현율보다 답변 F1 점수를 더 잘 예측해요.
HotpotQA 데이터셋에서 answer-in-context는 답변 품질을 5배 정도로 구분하고, 재현율을 넘어선 정보를 제공하며, 모든 골드 정보가 검색되었을 때에도 EM 점수 차이를 4.6배 보여줘요.
연구진은 서브모듈러 최대화 기법을 활용한 패커를 개발하여 HotpotQA에서 기존 방법보다 최대 5.1% 더 높은 F1 점수를 달성했으며, 이는 멀티홉 구조, 정보 검색, 적절한 예산, 약한 리더 모델의 결합이 필요함을 보여줘요.