연구진은 이산 확산 언어 모델(DDLM)의 샘플링 시간 교정을 학습에 통합하는 토큰 드리프트 객관 함수를 제안했어요. 토큰 샘플이 미분 불가능하고 범주 예측이 직접적인 연속 샘플을 제공하지 않는 이산 텍스트 인터페이스 문제를 해결하기 위해 소프트 토큰 특징으로 범주 예측을 끌어올리는 방식을 사용했어요. 실험 결과, 토큰 드리프트는 MDLM에서 Gen.-PPL을 89%, DUO에서 86% 감소시켰어요.
토큰 드리프트는 고정된 NFE 생성 품질을 향상시키고, 샘플링 시간 교정을 학습에 통합하는 실용적인 정제 객관 함수가 될 수 있음을 보여줬어요. 연구는 마스크 및 균일 상태 확산 백본을 가진 지속적인 학습 실험에서 진행됐어요.
소프트 토큰 특징을 활용해 범주 예측을 끌어올리고, 고정된 의미 공간에서 반대칭 드리프트를 적용하며, 결과적으로 정지 기울기 특징 목표를 DDLM 로짓에 역전파하는 방식으로 작동해요.