음성 LLM(SpeechLLM)의 환각 현상은 심각한 문제를 야기하지만, 기존 감지 방법은 비용이 많이 드는 표준 출력에 의존하는 경우가 많습니다.
AUDIORATIO, AUDIOCONSISTENCY, AUDIOENTROPY, TEXTENTROPY 등 어텐션 기반 지표를 활용하여 환각과 관련된 비정상적인 어텐션 패턴을 파악하고, 이를 기반으로 로지스틱 회귀 분류기를 학습했습니다.
Qwen-2-Audio 및 Voxtral-3B 모델 평가 결과, 제안하는 방법이 기존 방식보다 성능이 뛰어나며, 일부 환경에서는 PR-AUC 점수가 최대 +0.23만큼 향상되었습니다.