Amazon SageMaker AI 추론에 컨테이너 이미지 캐싱 기능이 도입됐어요. 생성 AI 모델의 확장 속도가 빨라져 엔드투엔드 지연 시간을 최대 2배 단축할 수 있어요. 컨테이너 이미지 다운로드 시간을 줄여 모델 확장 시 성능을 개선하는 효과가 있어요.
SageMaker AI는 모델 확장 시 컨테이너 이미지를 다운로드하는데 시간이 걸리는 문제를 해결했어요. 컨테이너 이미지 캐싱을 통해 모델 확장 속도를 높이고 지연 시간을 줄여 사용자 경험을 개선할 수 있어요.