연구자가 Cartridges와 STILL이라는 두 가지 새로운 KV 캐시 압축 기술을 단일 GPU 환경에서 구현하고 오픈소스로 공개했어요. Cartridges는 코퍼스별 압축 KV 캐시를, STILL은 재사용 가능한 신경망 KV 캐시 압축을 구현하는 것을 목표로 합니다. 이 프로젝트는 장문 맥락 추론, 메모리 압축, KV 캐시 재사용과 관련된 시스템 트레이드오프에 관심 있는 사람들에게 도움이 될 수 있습니다.