TF-Engram은 LLM의 지식 확장 비용을 줄이기 위해 외부 코퍼스에서 생성한 구체적인 의미 메모리를 활용하는 시스템입니다. GPU-DRAM-SSD 계층에 메모리 테이블을 저장하고, Early-Exit Guided Predictive Prefetching을 통해 외부 메모리 지연 시간을 숨깁니다.
Qwen3-0.6B 모델에서 TF-Engram을 사용했을 때 다운스트림 점수가 57.6에서 59.4로 향상되었으며, 기존 LoRA 방식보다 성능이 뛰어났습니다.
SSD 기반 스토리지를 통해 GPU 메모리 사용량을 줄이고, 예측 프리페칭을 통해 외부 메모리 접근으로 인한 처리량 손실을 회복했습니다.