VLSiddarth가 기업 RAG 파이프라인의 '컨텍스트 부패' 문제를 해결하기 위해 KU-Gateway 프록시를 개발했어요. 이 프록시를 통해 벡터 DB와 LLM 사이에서 오래된 컨텍스트를 제거하여 토큰 사용량을 약 50% 절감하고 사실 오류 환각 현상을 방지해요.
주요 기술 회사와 EAP를 진행한 결과, KU-Gateway는 컨텍스트 점수 기반 시간 감쇠를 통해 오래된 페이로드를 삭제하는 데 효과적이었어요. 이는 컨텍스트의 시간적 정확성을 유지하는 데 중요한 역할을 해요.
14일간의 스트레스 테스트 및 해커톤을 통해 KU-Gateway의 라우팅 로직을 테스트하고 시간 제한 컨텍스트를 활용하는 자율 에이전트 구축을 장려할 예정이에요.