Pulse · AI 뉴스

숨겨진 상태가 드리프트할 때: KV 캐시가 장거리 추론적 디코딩을 구할 수 있을까요?

Qwen · 2026-04-29

연구진은 숨겨진 상태 기반 추론적 디코딩에서 발생하는 장거리 성능 저하 문제를 분석했어요.

KV 캐시 재사용을 통해 장거리 추론 정확도를 개선하는 KVShot 프레임워크를 제안하고, Qwen3-8B 모델로 실험했어요.

현재 훈련 파이프라인에서는 속도 향상이 미미하지만, KV-인식 디코딩의 잠재력을 최대한 활용하려면 블록 단위 훈련이 필요하다는 점을 밝혔어요.

##추론##KV캐시##디코딩##Qwen##KVShot
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기