RouteLMT는 LLM 번역 시스템에서 비용 효율성을 높이기 위해 작은 모델과 큰 모델을 선택적으로 사용하는 하이브리드 시스템에 대한 새로운 라우팅 전략이에요.
RouteLMT는 작은 모델의 프롬프트-토큰 표현을 분석하여 큰 모델의 성능 향상 정도를 예측하며, 외부 모델이나 가설 디코딩 없이 작동해요.
실험 결과, RouteLMT는 기존 방법보다 우수한 품질-비용 균형을 달성했으며, 안전 장치를 통해 품질 저하 위험을 줄일 수 있음을 확인했어요.