연구진이 동결된 소형 언어 모델의 성능을 향상시키고 비용을 절감하는 새로운 방법을 발표했어요. 핵심은 한 번 저장된 검증된 지식(바이트 정확 KV 상태)을 새로운 추론 컨텍스트에 이식하는 기술이에요.
이식된 로짓은 고정된 설정에서 새로운 계산과 완전히 동일하며(SHA-256 동일성), 50개 샘플에 대해 KL 발산이 0이고 argmax 일치도가 100%예요.
AIME 2025 벤치마크에서 검증된 솔루션 라이브러리를 이식한 Gemma-4-12B는 80.0%에서 93.3%로 성능이 향상됐으며, 자체 77.5%와 31B 모델의 89.2%를 능가했어요.
이 기술은 401,026 토큰 예산 내에서 해결하지 못했던 8개의 문제를 61개의 토큰으로 해결하며, 6,574배 적은 토큰과 약 8,700배 적은 에너지를 소비하는 놀라운 효율성을 보여줬어요.