연구진이 점수 엔트로피 기반 이산 확산 모델(SEDD)의 한계를 분석하고 개선 방안을 제시했어요. 기존 SEDD는 베이즈 실현 가능성을 보장하지 못해 부정적인 가중치를 발생시킬 수 있다는 문제점이 있었어요.
이 문제를 해결하기 위해 'Mean-to-Score (M2S)' 기법을 도입하여, 깨끗한 토큰의 사후 평균을 예측하고 이를 점수로 변환하는 정확한 선형 매핑을 사용했어요.
M2S는 다양한 좌표별 연속 시간 마르코프 체인(CTMC)에 적용 가능하며, 실험 결과 CIFAR-10 데이터셋에서 BPD와 FID 점수를 개선하고, OpenWebText 데이터셋에서 기존 모델보다 뛰어난 성능을 보였어요.