이 논문은 RAG 평가 지표의 실제 적용 가능성을 검증하는 실험 결과를 보고해요. 비즈니스 데이터를 기반으로 인간 어노테이터가 만든 질문-답변 데이터셋을 사용했어요. RAG 시스템의 응답과 검색된 스팬을 Ragas, DeepEval, RAGChecker, Opik 등 4개 라이브러리의 평가 지표로 점수화했어요.
두 명의 평가자와 리콜과 같은 표준 지표와 비교 분석하여 상관관계를 파악했어요. 실험 방법론의 한계점을 지적하고 기존 연구와 비교하며 향후 연구 방향을 제시해요.
이 논문은 EvalLLM 워크숍에 프랑스어로 발표된 논문의 영어 번역본이에요.