LLM의 환각 현상을 줄이기 위해 불확실성 추정 기술이 중요해지고 있어요. 기존 방법은 여러 번의 생성 과정을 거쳐야 해 비용과 시간이 많이 들었는데요. 연구진은 부분 생성이나 입력 정보만으로도 효과적인 불확실성 추정이 가능하다고 밝혔습니다.
연구진은 불확실성 추정 프레임워크를 개발하고, 생성 과정 초기에 불확실성을 추정하는 Logit Magnitude와 입력 정보만으로 불확실성을 예측하는 MetaUE를 제안했어요. Logit Magnitude는 생성 과정을 부분적으로 중단하고, MetaUE는 불확실성 점수를 활용해 가벼운 입력 기반 예측기를 학습합니다.
실험 결과, 부분적인 생성만으로도 효과적인 불확실성 추정이 가능하며, MetaUE는 입력 기반 추정에서도 경쟁력 있는 성능을 보였습니다. 이는 LLM의 불확실성 추정에 필요한 생성 과정이 생각보다 짧을 수 있음을 시사합니다.