DeepSeek AI가 LLM 추론 속도를 가속화하는 새로운 디코딩 기법 'DeepSpec'을 발표했어요. 기존 방식 대비 최대 4배 빠른 속도를 보이며, 특히 긴 시퀀스에서 효과적이에요.
연구 결과는 arXiv에 공개되었으며, GitHub에서 관련 코드를 확인할 수 있어요. DeepSpec은 추론 속도 향상과 함께 성능 저하를 최소화하는 데 초점을 맞췄다고 해요.
DeepSpec은 스펙커티브 디코딩을 활용하여 다음 토큰을 예측하고, 이를 바탕으로 추론 과정을 최적화하여 빠른 속도를 달성했어요.