본 논문에서는 이미지·비디오 생성에 성공적인 확산 모델을 언어 모델링에 적용하기 위해 연속적인 임베딩 공간 기반 언어 확산 모델 ELF(Embedded Language Flows)를 제안합니다.
ELF는 기존의 이산 토큰 기반 언어 확산 모델과 달리, 대부분의 과정을 연속적인 임베딩 공간에서 처리하며 마지막 단계에서 공유 가중치 네트워크를 통해 이산 토큰으로 매핑합니다.
실험 결과 ELF는 기존의 이산 및 연속 언어 확산 모델보다 우수한 성능을 보이며, 더 적은 샘플링 단계로도 고품질의 텍스트 생성이 가능했습니다.