연구진이 임상 텍스트 요약에 특화된 불확실성 정량화(UQ) 프레임워크 '역방향 프로빙'을 제안했어요. 기존 UQ 방법은 긴 임상 텍스트에서 토큰 단위 불확실성을 파악하기 어렵다는 한계가 있었어요. 역방향 프로빙은 기존 요약 데이터를 활용해 모델 내부 상태에서 불확실성 신호를 추출하여 토큰 단위 불확실성을 직접 추정해요.
두 개의 임상 데이터셋에서 8개의 기존 방법보다 성능이 뛰어나 AUPRC가 최대 4배 향상되었고, 추론 시간과 비용도 절감되었어요. 에너지 차이와 주변 맥락이 모델 반응 예측에 가장 일관성 있는 요소로 나타났어요.
이번 연구는 모델이 뒷받침되지 않는 임상 내용에 어떻게 반응하는지에 대한 해석 가능한 통찰력을 제공하며, LLM의 임상 활용에 대한 신뢰도를 높이는 데 기여할 것으로 기대돼요.