IBM Research가 기업 에이전트 시스템에서 모델 라우팅의 복잡성을 다룬 기술 블로그를 공개했어요. 단순 분류 문제가 아닌 시스템 최적화 문제이며, 비용, 복잡성, 지연 시간 세 가지 측면에서 예상과 달랐던 점이 많았다고 설명합니다.
GPT-4.1이 Claude Sonnet 4.6보다 저렴할 것이라는 예상과 달리, 실제로는 Sonnet이 더 저렴했어요. 이는 캐시 활용률에 따라 효과적인 입력 비용이 달라지기 때문이며, 단순 가격표만 보고 라우팅을 결정하는 것은 잘못된 선택입니다.
작업 난이도는 라우팅 시점에 파악하기 어려울 수 있으며, 비용, 지연 시간, 모델 전문성, 안정성 등 다양한 요소를 동시에 고려해야 합니다. IBM Research는 이러한 점을 고려하여 비용, 품질, 지연 시간을 동시에 최적화하는 라우터를 개발했습니다.