연구진이 동결된 소형 언어 모델의 성능을 향상시키고 비용을 절감하는 새로운 방법을 발표했어요. 핵심은 한 번 저장된 검증된 지식(바이트 정확 KV 상태)을 새로운 추론 컨텍스트에 이식하는 기술이에요.
이식된 로짓은 고정된 설정에서 신선한 계산과 완전히 동일하며(SHA-256 동일성), KL 발산이 0이고 50개 샘플에 대해 100% argmax 일치해요.
AIME 2025에서 검증된 솔루션 라이브러리를 이식한 Gemma-4-12B는 80.0%에서 93.3%로 성능이 향상되었으며, 이는 자체 77.5% 및 31B 모델의 89.2%를 능가하는 결과예요.
이 기술은 401,026 토큰 예산 내에서 기본 모델이 풀지 못하는 8개의 문제를 61개의 토큰으로 해결하여 6,574배 더 적은 토큰과 약 8,700배 더 적은 에너지를 소비하며, 31B 모델에서 7/7의 전이 성공률을 보여요.