연구진은 KV 캐시에서 주의 기반 토큰 제거 방식(H2O)이 구조적으로 중요한 토큰을 과도하게 유지하여 노이즈 비율을 높인다는 문제점을 발견했어요. 특히, JSON과 같은 구조적 입력에서 구분 기호나 공백과 같은 역할이 콘텐츠보다 더 많은 에너지를 갖는다는 것을 확인했어요. 연구진은 KEY 토큰을 억제하는 것이 가장 효과적인 필터링 방법이라고 제안하며, 새로운 역할 기반 할당 방식을 통해 성능을 개선했어요.
새로운 방식은 기존 H2O 방식의 성능 격차를 63~98%까지 줄였으며, 높은 예산에서는 전체 캐시 성능을 능가하는 작은 노이즈 제거 효과를 보였어요. 이 방법은 재학습 없이 단일 하이퍼파라미터로 조정 가능하며, 15MB의 선형 역할 프로브를 통해 토큰 역할을 식별하는 데 사용돼요.
연구 결과는 LLM 추론 과정에서 구조적 편향을 줄이고 정확도를 향상시키는 데 기여할 수 있으며, 향후 파서 수준의 정확도를 맞추는 연구가 필요함을 시사합니다.