디노티시아가 거대언어모델(LLM) 추론 비용과 속도를 개선하는 'STAR-KV' 기술을 공개했어요. 이 기술은 키-값(KV) 캐시를 최대 20배까지 압축할 수 있어요. UC San Diego VVIP 랩과 공동 연구를 진행했으며, 논문과 소스 코드를 공개했습니다.
STAR-KV는 대규모 컨텍스트 처리의 핵심 병목으로 꼽히는 KV 캐시 문제를 해결하는 기술이에요. 디노티시아는 이 기술을 통해 LLM의 성능을 향상시키고 비용을 절감할 수 있을 것으로 기대하고 있어요.