연구진이 병렬 트리 초안 작성 프레임워크 JetSpec을 제안했어요. JetSpec은 기존 추론 방식의 속도 제한을 극복하고, 더 큰 초안 예산으로 더 긴 수용 접두사와 높은 엔드투엔드 속도 향상을 가능하게 해요. JetSpec은 Qwen3 모델의 수학, 코딩, 채팅 벤치마크에서 기존 방식보다 뛰어난 성능을 보였어요. H100 GPU에서 MATH-500에서 최대 9.64배, 대화 워크로드에서 4.58배 속도 향상을 달성했어요.
JetSpec은 기존 방식의 인과성-효율성 딜레마를 해결하기 위해, 동향 병렬 초안 작성 헤드를 활용하여 융합된 은닉 상태에서 후보 트리를 생성해요. 이 방식은 대상 모델의 자기 회귀 팩터화와 일치하는 점수를 갖는 후보 트리를 생성하여 더 높은 수용률을 달성해요.
연구진은 JetSpec의 코드와 모델을 GitHub에 공개하여 다른 연구자들의 활용을 독려했어요. JetSpec은 vLLM 통합을 통해 실제 서비스 환경에서도 지연 시간을 줄이는 효과를 보여주었어요.
JetSpec은 기존 추론 방식의 한계를 극복하고 LLM의 성능을 향상시키는 중요한 기술적 진보를 보여주며, 향후 LLM 연구 및 개발에 큰 영향을 미칠 것으로 기대돼요.