연구진은 기존 AR 언어 모델을 마스크 확산 모델로 변환하는 대신, 모든 토큰이 샘플링 과정에서 편집 가능한 균일 노이즈 확산 모델로 직접 변환하는 UNIFUSION을 제안했어요.
SEDD, MDLM/GIDD, M2S, Neural CTMC 간의 연결성을 발견하고, 일반화된 쿨백-라이블러(Kullback-Leibler) 목적 함수를 통해 모델 역방향 비율을 통일했어요.
연구 결과, UNIFUSION은 124M 및 355M 파라미터 모델에서 생성 퍼플렉시티(GenPPL)와 유니그램 엔트로피 간의 균형을 개선하며, WinoGrande, SIQA, BBH 정확도 측면에서도 우수한 성능을 보여줬어요.