BioCreative IX MedHopQA 챌린지는 다중 홉 추론 능력을 가진 LLM을 벤치마크하기 위해 설계되었습니다. 1,000개의 질의응답 쌍으로 구성된 새로운 데이터셋을 개발하여 질병, 유전자, 화학 물질에 대한 복잡한 질문에 대한 두 번의 추론을 요구합니다. 48개의 제출물이 접수되었으며, RAG와 같은 검색 기반 전략이 성능 향상에 중요했습니다.
MedCPT 지표에서 최고 순위 제출 시스템은 89.30%의 F1 점수를 달성했으며, 이는 제로샷 기준선보다 67.40% 높은 수치입니다. 개념 수준 평가가 표면 형태가 다른 정확한 응답을 평가하는 데 도움이 되었으며, MedHopQA 데이터셋은 공개되어 이 분야의 발전을 지원합니다.
챌린지 자료는 NCBI 웹사이트와 CodeBench에서 확인할 수 있으며, 다중 홉 의료 질문 응답 시스템 개발에 기여할 수 있도록 공개되었습니다.