연구진이 실제 유방암 환자 72명의 데이터를 활용해 LLM 기반 에이전트 시스템의 치료 추천 성능을 평가했어요. Claude Opus 4.8과 D&C+SA 파이프라인 조합이 가장 좋은 성능(0.594)을 보였지만, 여전히 오류가 발생했어요. 툴 사용과 자율성은 일부 상황에서 성능을 향상시키지만, 다른 상황에서는 오히려 저하시켰어요.
에이전트 시스템은 임상적으로 관련 있는 유방암 치료 추천을 생성할 수 있지만, 아직 감독 없이 임상 환경에서 사용할 만큼 충분하지 않다는 결과가 나왔어요. 잘못된 추천, 근거 부족, 오래된 정보 등 다양한 오류가 발견됐어요. 연구는 LLM 기반 에이전트 시스템의 잠재력과 한계를 동시에 보여줬습니다.