연구진은 LLM 제어를 위한 새로운 방법인 Memory Inception (MI)을 제시했습니다. MI는 프롬프트 캐싱 문제를 해결하고, 기존 방식보다 강력하면서도 구조화된 제어가 가능합니다.
MI는 텍스트에서 파생된 키-값(KV) 뱅크를 선택된 레이어에만 삽입하여 작동하며, 프롬프트 캐시 전체에 가이드 토큰을 캐싱하는 문제를 해결합니다.
구조화된 추론 작업에서 MI는 기존 방식보다 뛰어난 성능을 보였으며, KV 저장 공간을 최대 118배까지 줄였습니다.