독립 개발자가 TurboQuant 호환 KV 백엔드 평가 패키지를 공개했습니다. 이 패키지는 압축된 KV-캐시 워크로드를 테스트하기 위한 저수준 백엔드 ABI 테스트를 지원합니다.
패키지는 압축된 KV 블록 등록, 부분 실행, 블록 로컬 어텐션 부분 디코딩, 기능 테스트, 오류 보고, 최소 벤치마크 검증 기능을 제공합니다.
KV-캐시 최적화, 양자화 추론, 압축된 KV 형식, 긴 컨텍스트 디코딩, 백엔드 통합 관련 작업자들의 피드백을 환영합니다.