연구진은 AI 글래스를 활용한 개인 맞춤형 기억 보조 시스템 평가를 위한 SuperMemory-VQA 데이터셋을 공개했어요. 이 데이터셋은 52.9시간 분량의 일상 활동 영상을 담고 있으며, 객체/위치 기억, 의도 회상, 시각 장면 회상 등 다양한 장기 기억 관련 질문-답변 쌍을 포함하고 있어요. 기존 시스템은 현실적인 기억 과제에서 신뢰성이 부족한 것으로 나타났으며, 이는 AI 기억 아키텍처 개발의 필요성을 시사해요.
SuperMemory-VQA 데이터셋은 RGB 영상, 음성 기록, 시선 추적, IMU, SLAM 트래jectory 등 다양한 정보를 동기화하여 제공하며, 인간 검증을 거친 4,853개의 질문-답변 쌍으로 구성돼 있어요. 각 질문은 객관식 형태로 제공되며, '답변 불가' 옵션을 포함하여 환각 현상에 대한 강건성을 평가할 수 있어요.
벤치마크 결과, 현재의 에이전트 프레임워크와 LLM 백본은 실제 환경에서의 기억 과제 수행에 어려움을 겪고 있으며, 충분한 증거가 있을 때만 답변할 수 있는 AI 기억 아키텍처 개발이 필요하다는 것을 보여줬어요. 참가자 설문조사 결과, SuperMemory-VQA의 질문들이 현실적이고 유용하며, 일상적인 기억 요구 사항과 일치한다는 것을 확인했어요.
연구진은 SuperMemory-VQA 데이터셋을 통해 AI 글래스 기반 기억 보조 시스템의 성능을 평가하고, 장기 기억 능력 향상을 위한 연구를 촉진하고자 합니다.