Pulse · AI 뉴스

OCTOPUS: KV 캐시 최적화 - 옥타히드럴 매개변수 기반

OCTOPUS · 2026-05-20

OCTOPUS는 KV 캐시 압축을 위한 새로운 방법으로, 회전 전처리 후 옥타히드럴 매개변수 기반 삼중 좌표 정량화를 통해 성능을 향상시켰습니다.

이 코덱은 데이터에 의존하지 않고 온라인으로 작동하며, 특정 시드를 통해 결정론적으로 동작하여 텍스트, 비디오, 오디오 등 다양한 데이터에서 기존 방식보다 우수한 성능을 보입니다.

Triton을 사용한 융합 구현을 통해 압축 해제 시 대역폭이나 지연 시간이 추가되지 않아 효율성을 높였습니다.

##KV캐시##정량화##OCTOPUS##Triton
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기