MemEye는 시각 정보를 활용한 에이전트 메모리 평가 프레임워크입니다. 기존 평가 방식은 시각적 증거 보존 여부를 제대로 검증하지 못한다는 문제점을 개선합니다. 새로운 벤치마크를 통해 에이전트의 메모리 능력을 세분화된 시각적 증거 보존 능력과 시간 변화에 따른 추론 능력 두 가지 측면에서 평가합니다.
MemEye 프레임워크 하에 8가지 실생활 시나리오 기반의 벤치마크를 구축하고, 답변 가능성, 단축키 저항력, 시각적 필요성, 추론 구조 평가를 위한 검증 단계를 포함했습니다. 13가지 메모리 방법과 4가지 VLM 백본을 평가한 결과, 현재 아키텍처는 여전히 세밀한 시각적 디테일을 보존하고 시간에 따른 상태 변화를 추론하는 데 어려움을 겪고 있습니다.
연구 결과, 장기 다중 모드 메모리는 증거 라우팅, 시간 추적, 디테일 추출에 의존하는 것으로 나타났습니다.