연구진은 기존 벤치마크의 한계를 극복하기 위해 ClinEnv를 개발했어요. ClinEnv는 LLM을 주치의로 설정하고 실제 환자 데이터를 기반으로 장기 의료 시뮬레이션을 수행하는 환경이에요. 모델은 각 단계에서 4개의 전문 에이전트에게 정보를 요청하며, 결정과 정보 수집 과정을 모두 평가해요.
7개의 모델을 평가한 결과, 가장 뛰어난 모델도 0.31의 낮은 결정 F1 점수를 기록했어요. 특히 관리 결정과 후반 단계에서 어려움을 겪으며, 진단 회복률은 관리 행동보다 훨씬 높았어요.
ClinEnv는 정보 획득 능력의 격차를 측정 가능하게 하며, 결과 평가만으로는 드러나지 않는 문제점을 파악할 수 있도록 설계됐어요.