연구진은 추론 속도를 높이는 데 사용되는 '드래프트 모델'의 성능 저하 원인으로 '어텐션 드리프트' 현상을 발견했습니다. 어텐션 드리프트는 드래프트 모델이 토큰을 생성할수록 프롬프트에서 자체 생성 토큰으로 주의가 이동하는 현상입니다.
연구 결과, 어텐션 드리프트는 EAGLE3 드래프트 모델과 MTP 헤드 모두에서 나타났으며, 이는 드래프트 모델 설계의 문제점을 시사합니다. 원인은 체인 단계 간의 비정규화 잔여 경로 때문으로 분석되었습니다.
연구진은 드래프트 모델의 숨겨진 상태에 Post-norm 적용 및 RMSNorm을 사용하여 어텐션 드리프트를 완화하고, 성능을 향상시켜 템플릿 교란 시 최대 2배, 긴 컨텍스트 작업 시 1.18배, 벤치마크 테스트에서 1.10배의 성능 향상을 달성했습니다.