연구진은 기존 추론 방식의 비효율성을 개선하기 위해 VIA-SD라는 새로운 프레임워크를 제안했어요. VIA-SD는 분산 모델 라우팅을 활용해 검증 과정을 세분화하여 불필요한 연산을 줄입니다. 4가지 작업과 다양한 모델 패밀리에서 테스트 결과, 기존 추론 방식 대비 10~20% 속도 향상을 달성했어요.
기존 추론 방식은 검증 결과에 따라 전체 모델을 다시 연산하거나 완전히 거부하는 방식이었어요. VIA-SD는 중간 난이도의 검증이 필요한 토큰을 위해 분산 모델을 활용하여 효율성을 높입니다. 이를 통해 검증 실패율을 0.10~0.22% 감소시켰어요.
VIA-SD는 기존 추론 프레임워크와 호환되며, 별도의 훈련 과정 없이 적용할 수 있어요. 연구 결과는 분산 추론이 LLM의 확장성과 효율성을 높이는 데 기여할 수 있음을 시사합니다.