Whisper 모델은 음성 신호가 없는 오디오에 대해 환각 현상(맥락과 동떨어진 응집된 기록 생성)을 일으키는 것으로 알려져 있어요. 연구진은 Whisper의 내부 표현을 통해 환각 현상을 탐지하고 완화할 수 있는지 조사했어요. 음향 인코더 활성화를 추출하고 희소 오토인코더(SAE) 잠재 공간을 평가한 결과, 깊은 인코더 레이어에서 분산된 특징 집합에 판별력이 집중되는 것을 확인했어요.
SAE 기반 조향 전략은 Whisper small 모델의 환각 발생률을 72.63%에서 14.11%로, Whisper large-v3 모델의 환각 발생률을 86.88%에서 27.33%로 감소시켰어요. 음성 데이터의 WER(단어 오류율)이 약간 저하되었지만, 미세 조정 기반 방법의 성능에 근접했어요.
연구 결과는 Whisper 모델의 환각 현상 완화 가능성을 보여주며, 향후 ASR 모델의 신뢰성 향상에 기여할 수 있을 것으로 기대돼요.