Kwai Summary Attention (KSA)은 긴 문맥 처리에 어려움을 겪는 LLM의 효율성을 높이기 위한 새로운 어텐션 메커니즘입니다. 기존 방식의 단점을 극복하기 위해, KSA는 KV 캐시와 시퀀스 길이 간의 선형 관계를 유지하면서 의미 수준에서 압축을 수행합니다. KSA는 학습 가능한 요약 토큰을 사용하여 과거 문맥을 압축하여 시퀀스 모델링 비용을 줄입니다.