연구진이 마스크 확산 언어 모델(MDLM)의 지식 역추적을 위한 첫 번째 프레임워크인 MDU를 제안했어요. MDU는 확산 과정을 재검토하여 특정 지식을 학습하는 과정을 최소화하며, 프롬프트 조건부 예측과 프롬프트 마스크된 무조건적 앵커 간의 순방향 KL 발산을 최소화해요. 실험 결과, MDU는 기존 LLM 역추적 방법보다 높은 성능을 보여줬어요.
MDU는 프라이버시-유용성 균형을 조절하는 온도 스케일링 파라미터를 사용해요. GitHub에서 코드 확인할 수 있어요.
LLaDA나 Dream과 같은 MDLM은 기존 방식과 다른 방식으로 텍스트를 생성하며, MDU는 이러한 생성 및 미세 조정 메커니즘을 고려하여 설계됐어요.