연구진은 법률 분야의 RAG 시스템 성능 평가를 위한 새로운 데이터셋 ClaimRAG-LAW를 공개했어요. 이 데이터셋은 영어와 프랑스어를 지원하며, 법률 전문가와 비전문가를 위한 다양한 질문 유형을 포함하고 있어요. 기존 벤치마크의 한계를 극복하고, 법률 RAG 시스템의 검색 및 생성 성능을 세분화하여 분석할 수 있도록 설계됐어요.
ClaimRAG-LAW를 활용한 최첨단 법률 RAG 시스템 평가 결과, 법률 분야에서 검색, 생성, 주장 수준 분석 모두에서 한계가 드러났어요. 이는 RAG 시스템의 신뢰성 확보를 위한 추가 연구의 필요성을 시사합니다.
연구진은 ClaimRAG-LAW 데이터셋과 평가 프레임워크를 공개하여 법률 RAG 시스템 개발 및 개선에 기여하고자 합니다. 이를 통해 법률 분야에서 LLM 활용의 정확성과 신뢰성을 높일 수 있을 것으로 기대됩니다.