Bifrost 팀은 AI 서비스 제공업체(provider)의 중단 상황에 대비한 자동 복구 시스템 구축 경험을 공유했습니다. 초기에는 단순 가중치 기반 라우팅을 고려했지만, 실제 운영 환경의 복잡성을 고려하여 자동 폴백 체인을 구축했습니다.
Bifrost는 각 제공업체의 성공률, 응답 시간, 오류 패턴을 추적하여 문제가 발생하면 백업 제공업체로 트래픽을 즉시 전환하며, 속도 저하나 오류 없이 트래픽을 라우팅하기 위해 연결 풀링, 타임아웃 처리 등을 최적화했습니다.
정적 가중치 기반 라우팅만으로는 부족하며, 실시간 지표(지연 시간, 오류율, 처리량)를 기반으로 적응적으로 로드 밸런싱을 조정하는 것이 중요하다고 Bifrost 팀은 강조했습니다.