연구진이 장단기 컨텍스트 분리 방식인 DeLS-Spec을 제안했어요. 기존 DFlash 모델을 장기 컨텍스트 전문가로 활용하고, 가벼운 로컬 헤드를 단기 컨텍스트 전문가로 활용하는 방식이에요.
DeLS-Spec은 로컬 헤드를 표준 다음 토큰 예측 방식으로 독립적으로 학습시켜 훈련 비용을 대폭 절감했어요. 기존 방식과 달리 DFlash 백본이나 목표 모델과 함께 훈련할 필요가 없어요.
Qwen3 모델 실험 결과, DeLS-Spec은 수학, 코드, 대화 벤치마크에서 DFlash보다 속도 향상과 평균 수용 길이를 개선했어요.