연구진은 적은 수의 예시를 재순위화하는 과정이 항상 성능을 향상시키지 않는다는 점을 지적했어요. 모델의 불확실성을 기반으로 재순위화 여부를 결정하는 'Training-Free Gated Reranking' 기법을 제안했어요. 8개의 LLM과 7개의 NLU 데이터셋, 9개의 MT 도메인-언어 조합에서 실험한 결과, 평균 성능을 최대 2% 향상시키면서 계산 비용을 15~80% 절감했어요.
기존 방식과 달리, 불확실성이 높은 경우에만 재순위화를 적용하여 계산 비용을 줄이고 성능을 개선할 수 있음을 입증했어요. 높은 계산 비용이 반드시 더 나은 성능을 보장하지 않으며, 재순위화는 불확실성이 높은 경우에 가장 유용하다는 점을 시사해요.
본 연구는 LLM의 불확실성을 활용하여 재순위화의 효율성을 높이는 새로운 접근 방식을 제시하며, 계산 자원 활용 측면에서 중요한 시사점을 제공해요.