대규모 언어 디퓨전 모델(LLDM)은 더 빠른 추론 속도를 제공하며, 기존 모델과 유사하게 환각 현상에 취약합니다. 본 연구는 LLDM의 안전한 배포를 위해 신뢰성 있는 불확실성 정량화(UQ)의 중요성을 강조합니다. 연구진은 반복적인 디노이징 과정에서 얻은 가벼운 UQ 신호를 제안하여 기존 방식의 한계를 극복했습니다.
LLDM의 중간 생성 결과, 토큰 마스크 변화, 디노이징 복잡성을 활용하여 UQ 신호를 도출하고, 마스크된 디퓨전 가능성과 경로 기반 의미적 불일치도를 결합하여 UQ 방법을 개선했습니다. 이 방법은 샘플링 기반의 기존 방식에 비해 최대 100배 낮은 계산 비용으로 유사한 성능을 달성합니다.
세 가지 작업, 8개의 데이터 세트, 두 모델에 대한 실험 결과, LLDM이 빠른 추론과 신뢰할 수 있는 환각 감지를 동시에 제공할 수 있음을 입증했습니다.