Snowflake CEO는 AI 추론 비용에 대한 우려를 표명하며, 기업들이 비용 절감을 위해 다양한 방법을 모색하고 있다고 밝혔습니다.
모델 라우터 사용, 프롬프트 엔지니어링, AI 사용량 제한, AI 사용 자제, 할인 협상 등 5가지 주요 비용 절감 방법이 소개되었습니다.
UiPath는 프롬프트 엔지니어링을 통해 AI 모델의 불필요한 '생각' 시간을 줄여 일부 작업에서 90% 이상의 비용 절감 효과를 거두었습니다.
Novo Nordisk는 AI 분석 대신 Excel을 사용해 더 저렴하고 안정적인 결과를 얻었다고 설명하며, AI 사용을 신중하게 결정해야 함을 강조했습니다.
Mars는 Google Gemini 모델을 선택하면서 직원당 고정 요금을 적용받아 사용량 기반 요금제보다 비용을 절감하는 데 성공했습니다.