ElevenAgents에서 음성 에이전트 지연 시간 최적화에 대한 가이드가 공개됐어요. 이 가이드는 사용자가 말하는 것을 끝낼 때부터 에이전트가 응답하기 시작할 때까지의 총 지연 시간을 줄이는 방법을 다루고 있어요.
가이드에서는 음성 에이전트 지연 시간 예산 정의, STT 및 LLM 지연 시간 최적화, TTS 스트리밍 최적화 등 다양한 방법을 제시하고 있어요. 특히 LLM의 첫 토큰 생성 시간과 STT 엔드포인팅 지연 시간이 가장 큰 영향을 미치는 것으로 분석됐어요.
지역별로 자체 배포 환경에서 P50 및 P95 지연 시간을 측정하고, 스트리밍 청크 크기, 코덱 선택, 네트워크 거리 등을 고려하여 최적화하는 방법을 설명하고 있어요. 또한, 음성 에이전트의 응답성을 높이기 위한 다양한 FAQ도 제공하고 있어요.