MTR-Suite는 대화형 검색 시스템 평가의 정확성을 높이기 위해 개발된 프레임워크입니다. 기존 벤치마크의 한계를 극복하기 위해 LLM 기반 감사 도구, 다중 에이전트 시스템, 엄격한 벤치마크를 제공합니다. MTR-Suite는 연구자들이 더 효율적으로 대화형 검색 시스템을 개발하고 평가할 수 있도록 코드와 데이터를 공개했습니다.
MTR-Bench는 실제 생산 환경의 어려움을 반영하여 기존 벤치마크보다 더 높은 성능을 요구합니다. MTR-Suite를 통해 대화형 검색 분야의 연구가 더욱 발전할 것으로 기대됩니다.
MTR-Suite는 기존 벤치마크의 불일치점을 평가하고, 인간 비용의 400분의 1 수준으로 고품질 대화를 생성하며, 엄격한 일반 도메인 벤치마크를 제공합니다.