AgenticCache는 임베디드 AI 에이전트의 계획 단계에서 LLM 호출 빈도를 줄여 지연 시간을 단축하고 비용을 절감하는 새로운 프레임워크예요.
이 프레임워크는 자주 사용되는 계획 전환을 캐싱하여 재사용하고, 백그라운드에서 LLM을 호출하여 캐시 항목을 검증하고 개선하는 방식으로 작동해요.
4가지 임베디드 벤치마크에서 AgenticCache는 성공률을 22% 향상시키고, 시뮬레이션 지연 시간을 65% 단축하며, 토큰 사용량을 50% 절감했어요.