연구진은 시각적 관찰로부터 미래 결과를 예측하는 데 있어 월드 모델과 멀티모달 대규모 언어 모델(MLLM)이 상호 보완적인 능력을 제공한다는 점을 밝혔습니다.
새로운 벤치마크인 VRQABench와 OpenWorldQA를 구축하고, 시각적 미래 시뮬레이션과 추상적 추론을 통합하는 '통제된 구체적 추론' 방법을 제안했습니다.
Privileged-Future On-Policy Self-Distillation(PF-OPSD) 학습 방법을 통해 VRQABench와 OpenWorldQA에서 각각 10.6%, 10.9%의 성능 향상을 달성하고, 시뮬레이션 노이즈에 대한 강건성을 높였습니다.