연구진은 LLM의 환각 현상을 탐지하는 새로운 방법론을 제시했어요. 이 방법은 어텐션 행렬을 활용해 불확실성을 측정하며, 추가 샘플링이나 외부 모델이 필요 없다는 장점이 있어요.
어텐션 분산 정도를 측정하고 로지스틱 회귀 탐침에 활용하여, 다양한 데이터셋과 모델에서 답변 정확도를 예측하는 데 효과적이에요.
연구 결과, 어텐션 신호는 중간 레이어와 고유 명사, 숫자 등 사실 기반 토큰에 집중되어 나타나며, 모델 불확실성을 효율적으로 파악할 수 있음을 보여줬어요.