연구진은 텍스트 생성을 위한 새로운 계층적 잠재 확산 언어 모델인 Cola DLM을 제안했습니다. 이 모델은 텍스트를 계층적으로 분해하여 전역 의미 모델링을 효과적으로 수행합니다.
Cola DLM은 Text VAE를 통해 텍스트-잠재 표현 매핑을 학습하고, DiT를 사용하여 연속 잠재 공간에서 전역 의미 우선순위를 모델링하며, 조건부 디코딩을 통해 텍스트를 생성합니다.
실험 결과, Cola DLM은 기존 방식보다 더 유연한 비자동 회귀적 편향을 제공하며, 의미 압축 및 전역 공간에서의 우선순위 맞춤을 지원하는 것으로 나타났습니다.