연구진은 LLM 에이전트의 기억 관리 능력 부족 문제를 지적하며, 새로운 벤치마크 'STALE'을 공개했습니다. STALE은 새로운 정보로 기존 기억이 무효화되는 상황을 평가하여, LLM의 추론 능력과 정책 적용 능력을 측정합니다.
STALE 벤치마크는 400개의 시나리오로 구성되어 있으며, 최대 15만 토큰의 문맥을 포함하는 복잡한 상황을 다룹니다. 현재까지 평가된 최신 LLM 모델은 55.2%의 정확도를 기록하며, 개선의 여지가 큽니다.
연구진은 'CUPMem'이라는 프로토타입을 통해 명시적인 상태 관리를 통해 기억을 수정하는 방식이 LLM 에이전트의 신뢰성 있는 기억 관리에 도움이 될 수 있음을 제시했습니다.