연구진은 디퓨전 LLM(dLLM)의 어텐션 구조를 분석하여, 마스킹되지 않은 컨텍스트에 더 강하게 어텐션하는 토큰이 생성 안정성과 추론에 중요한 역할을 한다는 사실을 발견했어요.
이러한 분석을 바탕으로, 어텐션 구조에 따라 디노이징 순서를 결정하고, 어텐션에 중요한 토큰을 강조하는 AGDO(Attention-Guided Denoising and Optimization) 프레임워크를 제안했어요.
AGDO는 수학 및 코딩 벤치마크에서 기존 디퓨전 LLM의 후처리 방법보다 뛰어난 추론 성능을 보여줬어요.