연구에서는 소형 언어 모델(LLM)이 자체 정확성을 얼마나 신뢰할 수 있는지 평가하며, 이는 지도 학습 데이터 없이도 저렴한 로컬 모델을 활용한 쿼리 라우팅 전략의 가능성을 결정합니다.
제로샷 신뢰도 신호는 세 가지 7-8B 모델 패밀리와 두 데이터셋에서 RouteLLM 스타일의 지도 기반 기준과 비교하여, 일반적인 데이터 분포에서는 유사한 성능을, 데이터 분포 외부에서는 훨씬 뛰어난 성능을 보였습니다.
연구에서는 검색 기반 조건부 자체 평가 방법을 제안하여, 생성 전 유사성이 높을 때 검색된 지식을 주입하여 성능을 향상시켰으며, 지도 학습 기준은 제로샷 신호를 능가하지 못했습니다.