Flow 언어 모델(FLM)은 연속 흐름 매칭을 활용하여 one-hot 인코딩된 토큰 시퀀스를 처리하는 새로운 유형의 언어 모델입니다.
연구진은 FLM의 자연스러운 샘플러는 후방 예측 방식이며, 각 역방향 단계에서 토큰 마진을 기반으로 one-hot 엔드포인트를 샘플링하고, 오르슈타인-울렌벡 브리지를 통해 다음 연속 상태를 샘플링한다고 주장합니다.
새로운 샘플링 방식은 기존 방식과 동일한 모델 평가를 사용하며, 온도 스케일링과 핵 커트레이션과 같은 토큰 레벨 디코딩 제어 기능을 제공합니다.