InduceKV는 제한된 메모리 환경에서 멀티모달 LLM을 연속적으로 개선하는 방법으로, 모델 파라미터를 변경하지 않고 외부 KV 메모리를 활용합니다.
InduceKV는 각 학습 프레픽스를 어텐션 가능한 메모리 항목으로 저장하며, 이 과정에서 경량화된 교정 및 이중 선택 방식을 사용합니다.
다양한 실험에서 InduceKV는 PEFT, MoE, 리플레이, 프롬프트 검색 등 기존 방법보다 성능이 우수했으며, 더 강력한 백본 모델이나 무제한 후보 풀에 의존하지 않는다는 것을 확인했습니다.