연구진은 기존 MRI LLM 벤치마크의 한계를 극복하기 위해 MRI 물리학 및 GE 스캐너 작동 지식을 평가하는 새로운 벤치마크 'MRI-Eval'을 개발했습니다.
MRI-Eval은 텍스트북, GE 스캐너 매뉴얼, 프로그래밍 자료 등에서 추출한 1365개의 객관식 문제를 포함하며, 난이도별로 3단계로 구성되어 있습니다.
GPT-5.4, Claude Opus 4.6, Gemini 2.5 Pro, Llama 3.3 70B 등 5가지 모델 패밀리가 평가에 참여했으며, GE 스캐너 작동 분야에서 낮은 정확도를 보였습니다.