연구진은 환자 중심 의사 결정(SDM) 평가를 위한 오픈소스 소형 언어 모델(OS-sLLMs)을 처음으로 연구하는 LLM4SDM을 발표했어요. 기존 연구와 달리 개인 정보 보호를 고려한 로컬 배포 모델과 네덜란드 흑색종 상담 기록을 활용했어요. Gemma 3:12B 모델이 인간 평가와 가장 높은 상관관계를 보였으며(Pearson r=0.51, Spearman ρ=0.59), 시간 흐름 추론, 역할 구분, 증거 기반 추론에 어려움이 있었어요.
일반 도메인 모델이 의료 도메인 모델보다 성능이 우수했으며, 의료 도메인 모델은 환각 및 지시사항 불이행 문제가 상당했어요. 연구진은 여러 모델 간의 의견 불일치 해결을 지원하는 Judge-LLM 합의 프레임워크를 새롭게 제안했어요.
현재 OS-sLLMs는 인간 평가자를 대체할 수 없지만, 개인 정보 보호를 위한 인간-중심 SDM 평가의 기반을 마련할 수 있을 것으로 기대돼요.