연구진이 임상 진단 과정에서 모델이 올바른 결론에 도달하는 과정을 평가하기 위해 MIRA-Ev 벤치마크를 공개했어요. MIRA-Ev는 스페인 의사 시험(MIR) 사례를 기반으로 전문가들이 증거, 주장, 지지/반박 관계를 재-표시하여 만들었어요.
벤치마크는 증거 문장 검색, 논쟁 구성 요소 추출, 관계 분류의 세 단계로 구성되어 있으며, 스페인어, 영어, 바스크어로 제공돼요. 바스크어 버전은 최초의 임상 논쟁 자료예요.
MIRA-Ev는 기존 MCQA 방식의 한계를 극복하고, 모델이 어떻게 증거를 기반으로 결론에 도달하는지 파악하는 데 도움을 줄 수 있어요.