Pulse · AI 뉴스

Masked Diffusion 언어 모델의 효율적 디코딩을 위한 어텐션 기반 샘플링 기법

Llama · 2026-06-09

연구진은 Masked Diffusion 언어 모델의 병렬 디코딩 안정성을 높이는 ADAS 기법을 제안했어요. ADAS는 기존 샘플러의 중단 규칙을 변경하지 않고, 어텐션 정보를 활용해 후보 토큰을 재평가하는 방식이에요.

기존 방식과 달리 ADAS는 어텐션을 하드 제약으로 사용하지 않고, 소프트 마진 페널티로 활용하여 후보 토큰 간 상호작용을 고려해요.

GSM8K, MATH500, HumanEval, MBPP 데이터셋에서 Top-k, Fast-dLLM, EB-Sampler와 결합했을 때 평균 9.11~10.46% 성능 향상을 보였으며, 연산량은 3.1% 증가했어요.

##MaskedDiffusion##LLM##ADAS##샘플링##디코딩
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기