AgentCodec이 LLM 신뢰성 향상 라이브러리를 공개하며, 28가지 신뢰성 기법을 통합했습니다. 이 라이브러리는 기존 방식 대비 최대 56%의 추론 비용 절감 또는 7%의 품질 향상을 제공합니다.
사용자는 OpenAI, Anthropic, Ollama API 호출 시 단 한 줄의 코드 변경만으로 AgentCodec을 적용할 수 있습니다. 이를 통해 기존 API 응답 형식을 그대로 유지하면서 신뢰성을 높일 수 있습니다.
라이브러리는 다양한 모델 조합에 따라 적응적으로 기법을 선택하는 3가지 라우터를 포함하고 있으며
AgentCodec은 28가지 신뢰성 기법을 통일된 API로 제공하며, 각 기법은 단일 패스 기준 성능과 비교 측정됩니다.
이 라이브러리는 무선 통신 이론을 바탕으로 LLM의 오류를 줄이는 다양한 기법을 통합하여, 프롬프트에 따라 최적의 기법을 선택합니다.
AgentCodec은 무료로 연구 및 개인 평가에 사용할 수 있으며