LakeQuest는 실제 기업 및 과학 데이터 레이크 환경에서 질문 답변 시스템의 성능을 평가하기 위한 새로운 벤치마크입니다. AI/ML 메타데이터, 소매 금융, 다중 모드 생물 의학 데이터 등 3가지 도메인을 포괄하며 9,846개의 질문-답변 쌍으로 구성돼요.
기존 벤치마크는 데이터 검색 과정을 간과하지만, LakeQuest는 end-to-end 파이프라인 성능을 평가하도록 설계됐어요. RAG와 에이전트 기반 방법론을 포함한 초기 평가 결과, 고품질 검색이 정확한 추론을 보장하지 않는다는 점이 확인됐어요.
관계 체이닝, 정책 기반 답변, 다중 테이블 질문 답변 등에서 시스템이 어려움을 겪는다는 점을 보여주며, 향후 에이전트 기반 QA 시스템은 더욱 강력한 검색 및 파일 간 합성 메커니즘이 필요함을 시사합니다.