MemSyco-Bench는 에이전트 메모리에서 발생하는 아첨 현상을 평가하는 새로운 벤치마크입니다. 기존 벤치마크는 메모리 저장·검색·업데이트만 평가했지만, MemSyco-Bench는 메모리가 추론과 의사 결정에 미치는 영향을 측정합니다. 이 벤치마크는 에이전트가 기억을 사실 증거로 거부하고, 적용 범위를 존중하며, 객관적인 증거와 충돌을 해결하는 능력을 평가합니다.
MemSyco-Bench는 기억을 거부, 적용 범위 존중, 충돌 해결, 업데이트 추적, 개인화 활용 등 5가지 과제를 포함합니다. 관련 자료는 GitHub 저장소에서 확인할 수 있습니다.
기존 메모리 벤치마크는 사실 정확성이나 객관적 추론을 간과했지만, MemSyco-Bench는 에이전트가 기억에 과도하게 의존하는 아첨 현상에 주목합니다.