연구진이 동적 환경에서 객체의 기억 일관성을 평가하는 새로운 벤치마크 'MemoBench'를 공개했어요. MemoBench는 객체가 사라졌다가 다시 나타날 때 업데이트된 상태로 정확하게 복구되는지 평가하는 disappear-and-reappear 패러다임을 사용해요.
MemoBench는 합성 및 실제 환경에서 촬영된 360개의 ground truth 클립으로 구성되어 있으며, 자동화된 지표와 VQA 기반 평가를 결합한 평가 세트를 포함해요.
8개의 최첨단 모델 평가 결과, 사라졌다 다시 나타나는 환경에서 메모리 일관성 관련 주요 통찰력과 과제를 확인했어요.