Cohere에서 기업의 AI 총 소유 비용(AI TCO)에 대한 어려움을 인지하고, AI 기술을 소유할지 임대할지 결정하는 전략적 접근 방식을 제시합니다.
AI TCO는 토큰 가격 외에도 인프라, 모델 운영, 보안, 확장 등 다양한 요소를 포함하며, 기업은 AI 도입에 따른 비용을 정확히 파악해야 합니다.
AI 시스템의 전체적인 관점에서 토큰 소비량, 모델 호출 횟수, 컨텍스트 크기, 재시도 횟수, 지연 시간, 인프라 활용률 등을 분석하여 비용을 최적화해야 합니다.