AI 인프라 기업 디노티시아가 KV 캐시 압축 기술 'STAR-KV' 논문을 ICML 2026에 발표했어요. STAR-KV는 저랭크 압축과 양자화 기법을 결합해 KV 캐시 용량을 최대 20배까지 압축합니다.
STAR-KV는 KV 캐시 용량 감소와 함께 어텐션 연산 속도를 최대 6.9배, 전체 생성 처리량을 최대 3.1배 향상시켰어요. 기존 압축 방식보다 높은 정확도를 유지합니다.
디노티시아는 STAR-KV 기술을 vLLM 등 오픈소스 LLM 추론 프레임워크에 통합하고, AI 추론 생태계 발전에 기여할 계획입니다.