VoidPadding은 마스크 Diffusion 언어 모델에서 패딩 토큰으로 [VOID]를 도입하고 의미 종료 토큰으로 [EOS]를 분리하는 방식입니다. 기존 모델의 [EOS] 토큰 중복 문제를 해결하여 대규모 블록 디코딩 성능을 개선합니다.
Dream-7B-Instruct 모델에서 VoidPadding을 적용했을 때 수학적 추론과 코드 생성 벤치마크에서 평균 17.84점이 향상되었으며, 디코딩 NFE는 평균 55.7% 감소했습니다.
연구 결과는 GitHub에서 확인할 수 있으며, [VOID] 패딩을 통해 모델의 효율성과 성능을 높일 수 있음을 보여줍니다.