MemOps는 LLM 기반 에이전트의 장기 메모리 기능을 평가하는 새로운 벤치마크입니다. 기존 벤치마크는 최종 답변의 정확도만 평가했지만, MemOps는 기억, 잊기, 업데이트, 반성 등 메모리 연산의 라이프사이클을 평가합니다.
MemOps는 구조화된 추적을 통해 각 메모리 이벤트를 정의하고, 다양한 시스템에서 작동하는 제어 가능한 생성 파이프라인을 통해 장기적인 작업 지향 대화를 생성합니다.
벤치마크 결과, 현재 시스템은 일관성 있는 메모리 상태를 유지하는 데 어려움을 겪으며, 세션 레벨 검색이 턴 레벨 검색보다 성능이 우수하고, 장기 컨텍스트 모델은 메모리 상태 추적에 취약하다는 점이 드러났습니다.
MemOps는 최종 답변 정확도 평가에서 벗어나 메모리 연산 레벨의 해석 가능한 진단을 가능하게 하여, 장기 메모리 평가 방식을 발전시킵니다.