연구진은 환자의 잘못된 믿음을 교정하는 LLM의 능력을 평가하기 위해 ThReadMed-QA 데이터셋을 공개했어요.
GPT-5와 Claude-Haiku는 초기 질문에 대해 85%의 정확도를 보이지만, 후속 질문에서는 50%로 성능이 저하돼요.
오라클 분석 결과, 모델 오류가 누적되면서 성능이 떨어지는 것으로 나타났으며, 정확한 정보 제공에도 한계가 있어요.
연구는 환자 상담 환경에서 LLM의 멀티턴 대화 능력을 평가하는 프레임워크의 필요성을 강조해요.