연구자가 최근 발표된 카트리지(Cartridges)와 STILL(STILL: Towards Infinite Context Windows) 모델을 단일 GPU 환경에서 재구현하고 오픈소스로 공개했어요.
카트리지(Cartridges)는 코퍼스별 압축된 KV 캐시를, STILL은 재사용 가능한 신경망 KV 캐시 압축을 구현하는 것을 목표로 합니다.
이 구현체는 검증 코드와 가독성 높은 구현을 제공하여, 장문 컨텍스트 추론, 메모리 압축, KV 캐시 재사용 관련 시스템 트레이드오프에 관심 있는 사람들에게 도움이 될 거예요.