연구진은 추론 비용을 줄이는 추론 가속화 기법 VIA-SD를 제안했어요. 기존 기법의 한계를 극복하기 위해 내부 라우팅 기반의 슬림 검증기를 활용했어요. VIA-SD는 직접 수락, 슬림 검증기 재생성, 전체 모델 검증의 3단계 계층 구조로 작동하며, 기존 기법 대비 성능을 향상시켰어요.
VIA-SD는 4가지 작업과 다양한 모델 패밀리에서 기존 추론 가속화 기법 대비 거부율을 0.10~0.22% 감소시키고 10~20% 속도 향상을 달성했어요. 기존 추론 가속화 프레임워크와 호환되며, 별도의 학습 절차 변경 없이 적용 가능해요.
연구 결과는 다단계 추론 가속화가 확장 가능하고 효율적인 LLM 추론을 위한 일반적인 패러다임이 될 수 있음을 시사하며