연구진은 물리적 역학을 영상에서 추론하고 미래를 예측하는 능력을 연구하기 위해 다양한 물리 현상을 담은 2차원 물질점법(MPM) 시뮬레이션 데이터셋인 MPMWorlds를 구축했어요.
코드 생성 모델은 물리적 파라미터를 시각 정보로부터 추론하는 데 어려움을 겪지만, 영상 확산 모델보다 물리적, 시간적 안정적인 미래 예측을 수행하는 것으로 나타났어요.
영상 확산 모델은 시각 정보로부터 기하학적 특성을 더 잘 파악하지만, 물리적으로 불가능한 미래 예측을 생성하는 경향이 있어요.