연구진은 Self-Conditioning 언어 모델이 학습된 디노이징 성능을 향상시키는 고정점 반복 문제를 해결한다는 사실을 밝혔습니다. 이를 바탕으로 고정점 흐름(Fixed-Point Flows)이라는 새로운 모델을 제안했습니다. FMLM$^ ext{star}$ 모델은 기존 Self-Conditioning 모델 및 few-step 모델보다 뛰어난 성능을 보였습니다.
FMLM$^ ext{star}$ 모델은 흐름 과정과 고정점 반복을 압축하여 학습되었으며, 고정점 증류(fixed-point distillation)와 흐름 맵 증류(flow map distillation) 기술을 활용했습니다. 이 모델은 OpenWebText 데이터셋에서 one-step 및 few-step 생성 작업 모두에서 우수한 성능을 나타냈습니다. 연구 결과 및 코드는 GitHub에서 확인할 수 있습니다.