연구진은 KV 캐시 압축 설계 공간을 분석한 결과, 7가지 메커니즘 모두 실패했으며, TriAttention 유지 스코어러에 다양성 페널티를 적용하는 새로운 방법($α$)을 제안했습니다.
새로운 방법은 Qwen-7B와 Llama-8B 모델을 사용하여 MATH-500 데이터셋에서 테스트했으며, 특정 조건(Qwen $b{=}128$ 및 Llama $b{=}64$)에서 Bonferroni 통계 기준을 충족했습니다.
연구 결과, 구조적 재설계보다 간단한 스코어링 수정이 더 효과적이었으며, 엄격한 검증 프로토콜을 통해 이러한 차이를 확인할 수 있었습니다.