디퓨전 대형 언어 모델(dLLM)은 반복적인 노이즈 제거 과정을 통해 완전히 마스크된 시퀀스를 생성하며, 각 단계에서 마스크된 토큰의 일부를 해제하는 방식으로 병렬 텍스트 생성을 가능하게 합니다.
연구진은 토큰의 시간적 불안정성이 남은 마스크된 컨텍스트와의 상호 정보에 대한 하한을 제공하며, 시간적 불안정성이 높은 토큰은 해제하기에 안전하지 않다는 이론적 근거를 제시했습니다.
안정성 가중 디코딩(SWD)은 시간적 안정성을 토큰 점수에 통합하여 임의의 점수 기반 디코딩 정책에 적용할 수 있는 훈련이 필요 없는 전략입니다.