연구진이 장기적인 임상 의사 결정을 평가하기 위한 새로운 벤치마크 LongMedBench를 공개했어요. 기존 LLM 의료 에이전트 평가는 짧은 문맥 기반 지식 질문 응답과 도구 사용에 집중했지만, 실제 의료는 장기적인 관점에서 진행돼요.
LongMedBench는 MIMIC-IV 데이터 기반으로 구축되었으며, 환자당 평균 19.72회 입원 기록과 44.91회 의료 이벤트를 포함하고 있어요. 사실 기반 질문 응답, 시간 추론, 장기 의사 결정 세 가지 평가 항목으로 구성돼요.
실험 결과, LLM은 명시적인 시간 정보 활용에는 강점을 보이지만, 암묵적인 시간 추론에는 어려움을 겪고 있으며, RAG나 에이전트 메모리 시스템은 정보 검색 성능을 향상시키지만 의사 결정은 모델의 즉각적인 문맥에 크게 의존하는 것으로 나타났어요.