연구진은 LLM이 재구성한 임상 노트의 품질을 체계적으로 평가하기 위해 MIMIC 데이터베이스의 백만 건의 기록을 분석했어요. 핵심 임상 정보와 예측 유틸리티는 보존되지만, 미세한 세부 사항은 손실될 수 있다는 점을 확인했어요. 기록을 청크 단위로 재구성하면 사실적 정확도를 높일 수 있지만, 불완전한 맥락에서는 오류가 발생할 수 있어요.
연구 결과, LLM의 합성 오류는 임상 맥락 오해, 시간적 혼동, 측정 오류, 허위 주장 등으로 인해 주로 발생하며, 이러한 오류는 청크 단위 재구성을 통해 일부 완화될 수 있어요. 전반적으로 LLM이 재구성한 노트는 희귀 ICD 코드를 위한 작업별 훈련을 효과적으로 보완할 수 있어요.
연구는 LLM이 생성한 임상 노트가 임상 문서 개선 및 임상 텍스트 분석을 지원하는 데 유용하지만, 사실적 정확성과 세부 정보 보존 사이의 균형을 맞추는 것이 중요하다는 점을 시사해요.