연구진은 확산 언어 모델의 위치 선택 시 모델의 자신감이 잘못된 판단을 내릴 수 있음을 지적했어요. EOT 토큰에 대한 과도한 자신감은 불완전한 생성을 유발하고, 서픽스 앵커는 이를 완화하지만 주변 토큰의 조기 디코딩을 유발할 수 있어요. 이를 해결하기 위해 서픽스 앵커를 활용하여 응답 완료를 장려하고 앵커 주변의 자신도를 조절하는 새로운 방법론을 제안했어요.
제안된 방법은 텍스트 추론, 시각-언어 추론, 코드 생성 벤치마크에서 기존 방식보다 성능을 향상시키고, 명시적인 EOT 억제보다 효과적이며, 병렬 디코딩의 장점을 유지해요. 연구 결과는 확산 언어 모델의 자신감 기반 디코딩 방식에 대한 새로운 시각을 제시하고, 더욱 효율적인 모델 개발 방향을 제시해요.
새로운 방법론은 서픽스 앵커를 활용하여 응답 완료를 장려하고 앵커 주변의 자신도를 조절하여, 응답 완료 효과를 유지하면서 앵커 주변 토큰의 조기 디코딩 문제를 해결해요.