코히어가 기업의 AI 총소유비용을 고려해야 한다고 주장하며, RAG와 AI 에이전트 사용 시 토큰 소비와 인프라 비용이 증가한다고 강조했어요.
코히어에 따르면 자체 H100 서버의 100만 토큰당 비용은 클라우드 인스턴스나 API보다 저렴하며, 상시 가동되는 대규모 추론 업무는 자체 인프라가 비용 효율적일 수 있다고 해요.
코히어는 SaaS 기업처럼 AI 모델과 데이터, 업무 실행 환경을 묶어 제공하는 방식 대신 기업이 모델 배포 환경과 데이터 흐름을 직접 통제하는 프라이빗 AI를 대안으로 제시했어요.