MemLearner는 비디오 월드 모델의 장면 일관성 문제를 해결하기 위해 컨텍스트 쿼리 방법을 제안했어요. 기존 방식의 한계를 극복하기 위해, 쿼리 토큰을 활용해 컨텍스트와 예측 토큰을 연결하는 방식을 사용해요.
MemLearner는 기존 비디오 생성 모델의 시각적 사전 지식을 활용하고, 추가 모듈 없이 효율적인 학습 및 추론 전략을 적용해요. 장면 가려짐과 역동적인 객체가 있는 긴 비디오 데이터셋을 활용해 학습했어요.
실험 결과, MemLearner는 장면 일관성과 메모리 측면에서 기존 비디오 월드 모델보다 뛰어난 성능을 보여줬으며, 특히 어려운 가려짐 및 역동적인 환경에서 효과적이었어요.