PReM은 장문 컨텍스트 추론 시 유용한 정보를 보존하고 필요에 따라 최신화하는 컨텍스트 압축 프레임워크입니다. 모델 내부 KV 메모리에서 장문 컨텍스트를 유지하며, 어떤 정보를 보존하고 언제 최신화할지 학습합니다. 32K 토큰 컨텍스트 환경에서 기존 방식보다 성능이 우수하며, 답변 품질과 추론 효율성 간 균형을 유지합니다.
PReM은 메모리 선택을 위한 전용 레이어와 기억 최신화를 트리거하는 특수 토큰을 활용합니다. Phase-Separated Refresh Training을 통해 메모리 선택과 기억 기반 생성을 일치시키고, 최신화 과정의 연속성을 보존합니다. 16배~32배 압축에서도 강력한 성능을 보입니다.
기존 방식은 정보 보존 여부를 미리 결정하거나 외부 압축기에 의존하는 경향이 있어, 추론 과정에서 필요한 증거에 맞춰 압축 컨텍스트를 조정하기 어렵다는 한계가 있었습니다. PReM은 이러한 문제를 해결하고, 장문 컨텍스트 추론의 효율성을 높입니다.