연구진은 저렴한 LLM이 고비용 LLM에 의존하는 모델 캐스케이드의 비용-품질 균형을 분석하는 의사결정 이론적 프레임워크를 개발했습니다.
두 모델 캐스케이드의 경우, 비용-품질 균형 곡선은 신뢰도 구간에서 감소하는 이점 영역에 대해 부분적으로 오목하며, 예산 및 품질 제약 조건을 연결하는 그림자 가격이 존재합니다.
연구 결과, 캐스케이드 성능은 중간 단계 부족보다는 구조적 비용에 의해 제한되며, 경량 사전 생성 라우터는 5개 데이터 세트 중 4개에서 최적의 캐스케이드 정책을 능가했습니다.