오케스트로가 GPU 활용률을 높이는 AI 추론 운영 플랫폼 '콘체르토 AI'를 공개했어요. 에이전트형 AI 확산에 따른 추론 트래픽 증가에 대응하고 GPU 자원 활용 효율을 높이는 데 초점을 맞췄어요. 콘체르토 AI는 대규모 추론 요청을 분산 처리하고 가속기 자원을 작업 특성에 맞춰 배분하며, 분산 서빙을 통해 추론을 최적화하는 것이 특징이에요.