연구진이 LLM 메모리 시스템의 오류 추적 및 원인 분석을 위한 새로운 프레임워크 MemTrace를 제안했어요. MemTrace는 메모리 파이프라인을 실행 가능한 메모리 진화 그래프로 변환하여 운영 정보 흐름을 추적할 수 있도록 해줘요. MemTraceBench 벤치마크를 통해 메모리 오류 모드를 체계적으로 연구하고, 자동 원인 분석 방법을 통해 오류의 근본 원인을 찾아낼 수 있어요.
분석 결과, 메모리 오류는 정보 손실, 검색 불일치 등 운영 수준의 문제에서 비롯되는 것이 확인됐어요. MemTrace는 이러한 오류 추적 신호를 활용하여 프롬프트 최적화를 안내하고, 최종 작업 성능을 최대 7.62% 향상시키는 폐쇄 루프 시스템을 구축했어요.