연구진이 LLM 추론 시 메모리 비용의 주범인 KV 캐시를 압축하는 새로운 방법 'JoLT'를 제안했어요.
JoLT는 튜커 분해와 JL 회전 저비트 잔여 할당을 결합하여 토큰 및 특징 축을 압축하고, 손실된 에너지를 복원해요.
Mistral-7B-v0.3와 LLaMA-2-13B 모델에서 최대 3배 압축률을 보이며, 성능 저하 없이 perplexity, GSM8K 정확도, RULER 검색 성능을 유지했어요.
FlashJoLT는 JoLT의 랜덤화된 SVD 변형으로, 압축 시간 속도를 5~13배 향상시켜요.