대규모 시각-언어 모델(LVLM)은 개인 정보를 무심코 기억하여 프라이버시 위험을 초래할 수 있습니다. 기존의 언러닝 벤치마크는 가짜 신원을 사용하지만, 초기 학습 실패 문제를 간과하여 신뢰성을 떨어뜨립니다. 연구진은 이러한 근본적인 학습 실패와 다중 단계 문제를 진단하고, 이를 해결하기 위해 ReMem 벤치마크를 개발했습니다.
ReMem은 데이터 확장, 추론 기반 질의응답 쌍, 다양한 시각적 맥락을 통해 견고한 초기 학습을 보장합니다. 또한, 모델 내부 확률 분포에서 정보 삭제 깊이를 정량화하는 Exposure 지표를 제안했습니다.
실험 결과, ReMem은 LVLM의 학습 및 언러닝 행동을 진단하는 데 신뢰할 수 있는 프레임워크임을 입증했습니다.