연구진이 훈련 없이 이완된 추론적 디코딩 기법을 실질적으로 조사했어요. 기존 방식과 달리 엄격한 보증을 완화하여 속도 향상과 성능 개선을 목표로 합니다. 조사 결과, 이완된 방식은 상당한 능력 평가를 필요로 하며, 언어 모델 성능이 중요함을 확인했어요.
기존 추론적 디코딩은 LLM의 샘플링 분포를 정확히 보존하지만, 이완된 방식은 속도와 성능 간의 균형을 맞출 수 있습니다. 연구는 다양한 이완 기법을 통합하고 벤치마크하여 실질적인 통찰력을 제공합니다.
연구 결과, 이완된 추론적 디코딩은 가벼운 전용 다중 토큰 예측 드래프터에 적합하지 않으며, 드래프터의 언어 모델 성능이 중요합니다.