연구진은 Masked Diffusion Models (MDMs)의 단점을 보완한 Infinite Mask Diffusion Model (IMDM)을 제안했어요. IMDM은 이론적 오류 한계를 줄여 MDM이 어려워하는 적은 단계 생성 문제를 해결합니다. LM1B와 OpenWebText 데이터셋에서 기존 방법보다 뛰어난 성능을 보여주었습니다.
IMDM은 기존 MDM의 장점을 그대로 유지하면서도, 확률적 무한 상태 마스크를 도입하여 이론적 오류 한계를 완화합니다. 이를 통해 MDM이 가진 병렬 디코딩 및 양방향 컨텍스트 처리의 이점을 살립니다.
실험 결과, IMDM은 적은 단계에서도 효율적인 솔루션을 찾을 수 있으며, 적절한 증류 방법을 활용하면 기존 방법보다 더 나은 성능을 낼 수 있음을 입증했습니다.