연구진은 LLM이 확신에 차서 틀린 답변을 할 때 금융 분야에서 큰 문제를 일으킨다는 것을 확인했어요. 기존 방법보다 모델 내부 활성화 상태를 분석하여 확신에 찬 환각 현상을 탐지할 수 있는지 연구했죠. 연구 결과, 확신에 찬 답변 중 15~23%는 실제 오답이었으며, 프로빙 방식이 기존 방법보다 환각 현상 탐지율이 높았어요.
FinQA와 TAT-QA 벤치마크를 활용하여 Qwen3-8B, Llama-3.1-8B, Gemma-2-9B 모델을 분석한 결과, 프로빙 방식은 0.68~0.77 AUROC를 기록하며 기존 방법(0.55~0.63)을 능가했어요. 이 방법은 LLM 답변의 품질 관리에 효과적인 선별 장치로 활용될 수 있을 것으로 보입니다.
연구는 LLM의 답변을 인간이 검토하기 전에 선별하는 비용 효율적인 방법으로, 고위험 금융 분야에서 특히 유용할 것으로 기대됩니다.