Together AI가 전용 모델 추론을 위한 새로운 리소스 모델을 공개했어요. 엔드포인트, 배포, 구성 세 가지 요소로 구성되며, 용량 기반 라우팅을 통해 효율성을 높여요. 새로운 모델을 배포하고 관리하는 데 필요한 기능들을 제공하여, 사용자 맞춤형 추론 환경 구축을 지원합니다.
엔드포인트는 추론 요청을 받는 곳, 배포는 모델 인스턴스, 구성은 모델 설정 및 리소스 할당을 정의해요. 이 세 가지 요소가 유기적으로 연결되어 최적의 성능을 보장합니다. Together AI는 이를 통해 사용자에게 더욱 안정적이고 효율적인 추론 서비스를 제공할 계획입니다.