연구진은 컨텍스트 학습(ICL)에 적합한 데모를 찾는 대신, 특정 쿼리와 데모 조합의 성공 여부를 예측하는 것이 더 효율적이라고 주장했어요. 이를 바탕으로 쿼리의 난이도를 계층화하는 샘플링 및 판단 프레임워크인 DiSP를 제안했어요. DiSP는 Llama 3 8B와 Qwen 2.5 7B 모델을 사용하여 5개의 분류 데이터셋에서 기존 방법보다 최대 3.4%의 정확도 향상을 달성했어요.
DiSP는 무작위 데모 실험을 통해 각 훈련 쿼리의 성공률을 추정하고, 쿼리로부터 난이도를 예측하는 경량 라우터를 훈련하며, 샘플링된 데모에 대한 레벨별 판단자를 훈련해요. 추론 시에는 명시적인 예산 하에서 수락 중단 판단을 수행하며, 적합한 컨텍스트가 없을 경우 진단 위험 태그를 출력해요.
DiSP는 기존의 학습 기반 선택 방법보다 최대 23배 빠른 속도로 전체적인 정확도를 향상시켜, 컨텍스트 학습의 효율성을 높이는 데 기여했어요.