연구진은 Flow Matching의 장점을 활용하여 언어 모델 추론 속도를 개선하는 MoE-FM 프레임워크를 제안했습니다.
MoE-FM은 복잡한 잠재 공간의 기하학적 구조를 분해하여 지역적으로 특화된 벡터 필드를 활용하며, Transformer 및 Mamba 아키텍처 기반의 YAN 모델을 개발했습니다.
YAN 모델은 기존 AR 및 확산 기반 NAR 언어 모델과 동등한 생성 품질을 유지하면서도 3번의 샘플링 단계로 최대 10^3배의 속도 향상을 달성했습니다.