연구진은 이산 구조 생성 모델 학습 시 토큰 난이도 차이로 인한 문제를 해결하기 위해 Context-weighted Discrete Flow Matching 방법을 제안했어요. 이 방법은 주변 문맥 정보에 따라 샘플링을 조정하고, 손실 함수를 재가중치하여 생성 perplexity를 최대 63%까지 줄여요. 기존 방식 대비 품질은 유지하면서도 순서 제약 없이 생성 가능합니다.
Context-weighted Discrete Flow Matching은 주변 문맥 밀도에 따른 토큰 불확실성을 고려하여 CTMC를 수정하는 방식으로 작동해요. 이를 통해 생성 품질을 향상시키고, 계산 비용은 거의 증가시키지 않아요. OpenWebText 데이터셋에서 성능 향상을 입증했어요.
연구 결과는 이산 생성 모델링에서 문맥 정보의 중요성을 강조하며, 간단한 문맥 인식 수정만으로도 샘플링 및 학습 효율을 크게 개선할 수 있음을 보여줍니다.