연구자들이 학술 논문 검색을 위해 LLM 기반 에이전트를 활용하는 추세에 맞춰 ScholarQuest 벤치마크가 공개됐어요. ScholarQuest는 컴퓨터 과학 분야 1,000개 이상의 주제와 4가지 연구 의도를 반영해 설계됐어요. 현재 최고 성능 에이전트도 Recall@100에서 0.314에 불과해 개선 여지가 많아요.
ScholarQuest는 방법론 중심, 환경 기반, 비교 중심, 범위 제어 등 다양한 연구 의도를 포함하며, ScholarBase 백엔드를 통해 재현 가능한 평가를 지원해요. 기존 단일 검색 방식보다 에이전트 방식이 우수한 성능을 보였어요.
검색 효율성, 의도별 강건성, 실패 사례 분석 등을 통해 ScholarQuest는 학술 논문 검색 에이전트의 다각적인 평가 신호를 제공합니다.