연구진이 연속 디퓨전 언어 모델(DLM)인 RePlaid를 개발하여 기존의 성능 한계를 극복했어요. RePlaid는 기존 이산 DLM과 유사한 구조를 갖춰, 자동 회귀 모델 대비 계산량 격차를 20배까지 줄였어요.
RePlaid는 Duo 모델보다 적은 파라미터로 더 나은 성능을 보였고, MDLM 모델의 과적합 환경에서도 우수한 결과를 냈으며, OpenWebText 데이터셋에서 새로운 최고 PPL 기록을 달성했어요.
연구 결과, likelihood 기반 학습을 통해 연속 디퓨전은 이산 DLM의 강력한 대안이 될 수 있으며, ELBO 분산 최소화 및 임베딩 최적화를 통해 정보 손실을 줄이고 성능을 향상시킬 수 있음을 확인했어요.