연구진은 최적 수송(OT)을 활용하여 신경 기계 번역(NMT) 모델의 환각 현상을 탐지하는 방법을 제시했어요. Fairseq DE-EN 모델의 6개 디코더 레이어를 분석한 결과, 각 레이어별로 환각 탐지 성능이 달랐어요. 추상 요약의 충실도 탐지에 OT를 적용했을 때, CNN/XSum 데이터셋에서 57.2%/57.6%의 균형 잡힌 정확도를 달성했지만, 지도 학습 모델인 MiniCheck-Flan-T5-L에 미치지 못했어요.
NMT 환각은 소스 단어와의 단절을 의미하지만, 추상 요약의 충실도 실패는 소스 단어에 올바르게 집중하면서도 내용을 잘못 표현하는 방식으로 발생하기 때문에 OT 기반 탐지가 어려워요. T5-base 모델의 구조적 실험 결과, 레이어 3이 집중도가 가장 높고 레이어 12가 생성 품질에 가장 중요한 역할을 하는 것으로 나타났어요.