본 연구에서는 잠재 확산 언어 모델(LDLM)을 제시하며, 잠재 인코더, 확산 모델, 디코더를 공동으로 훈련하여 적합한 잠재 공간을 구축합니다.
LDLM은 사전 훈련된 언어 모델의 표현을 재구성하여 훈련 가능한 인코더를 활용하여 잠재 공간을 구축하며, 노이즈 제거와 토큰 디코딩 모두 용이합니다.
OpenWebText 및 LM1B 데이터셋에서 LDLM은 기존의 이산 및 연속 확산 언어 모델보다 더 나은 생성 성능을 보이면서 2~13배 빠른 속도를 달성했습니다.