오케스트로가 생성형 AI 서비스 확산에 따른 추론 수요 증가에 대응하기 위해 AI 추론 운영 플랫폼 '콘체르토 AI'를 공개했어요.
콘체르토 AI는 GPU 자원을 작업 특성에 맞게 배분하고 키-값 캐시 최적화 기술을 적용해 응답 성능을 향상시키고, 분산 서빙 방식으로 토큰 출력 속도를 2.2배 높였어요.
국내 유일 이기종 AI 가속기 지원 구조를 통해 엔비디아 GPU뿐 아니라 국산 NPU 환경도 지원하며, 프라이빗 AI 시장 공략을 강화할 계획이에요.