연구진이 의사와 환자, 전자의무기록(EHR) 시스템을 연계한 실제 임상 시나리오를 평가하는 PhysAssistBench 벤치마크를 발표했어요. 기존 LLM 평가는 임상 지식, EHR 시스템 연동, 환자 소통 등 개별 능력을 테스트하는 데 집중했어요. PhysAssistBench는 실제 MIMIC-IV 사례를 기반으로 환자 에이전트를 구축해 다중 턴 임상 시나리오를 구성하며, 1,296개의 검수된 대화 턴으로 구성돼요.
최신 LLM을 활용한 실험 결과, 현재 모델은 여전히 신뢰성이 부족한 것으로 나타났어요. 이는 지식, 소통, 시스템 연동을 아우르는 조화로운 능력이 필요하지만, 개별 능력만으로는 한계가 있다는 점을 시사해요.