Amazon SageMaker AI는 머신러닝 모델의 실시간 추론 호스팅을 위한 완전 관리 서비스를 제공합니다. SageMaker는 프로비저닝과 확장을 처리하며, 단일 모델 엔드포인트(SME)와 추론 컴포넌트(IC) 엔드포인트 두 가지 아키텍처를 지원합니다.
생성 AI 워크로드에 적합한 상세 관측 기능을 제공하며, CloudWatch Insights 대시보드를 통해 추론 지표를 모니터링하고 디버깅할 수 있습니다.
SME와 IC 엔드포인트 모두를 지원하여 다양한 규모의 생성 AI 모델을 운영하는 데 유연성을 제공합니다.