IR3DE는 다양한 분야의 전문가 LLM을 위한 빠르고 저렴한 라우팅을 제공하는 Ridge Regression 기반 라우터입니다. Causal Language Modeling(CLM) 환경에서 기존 라우터와 유사한 성능을 보이며, 추론 환경에서는 더 뛰어난 성능을 보입니다. IR3DE는 새로운 분야 전문가 LLM을 추가하거나 제거할 때 라우터 재훈련 없이도 가능하여, LLM 세트를 동적으로 관리할 수 있습니다.
IR3DE는 기존 라우터의 비용 최적화 또는 전문 분야 라우팅을 위한 대규모 훈련 요구사항을 해결합니다. 98.4%의 정규화된 성능을 달성하며, 기존 라우터 대비 우수한 성능을 보입니다. 코드 공개는 github.com/gensyn-ai/IR3DE에서 확인할 수 있습니다.
IR3DE는 새로운 분야 전문가 LLM을 추가하거나 제거할 때 라우터 재훈련 없이도 가능하여, LLM 세트를 동적으로 관리할 수 있습니다. 이는 서비스 중단 없이 LLM을 업데이트할 수 있다는 의미입니다.