본 연구는 로봇 제어를 위한 월드 모델 기반 정책 평가에서 레이턴트 공간의 중요성을 분석합니다. 6가지 재구축 및 의미론적 인코더를 비교하여 BridgeV2 데이터셋에서 월드 모델 훈련을 진행했습니다. 시각적 충실도 외에도 계획, 정책 성능, 레이턴트 표현 품질을 평가하여 월드 모델 선택 기준을 제시합니다.
VAE와 Cosmos 같은 재구축 인코더는 뛰어난 픽셀 수준 성능을 보이지만, V-JEPA 2.1, Web-DINO, SigLIP 2 같은 의미론적 인코더는 다양한 규모의 모델에서 다른 두 가지 축에서 더 뛰어난 성능을 보였습니다.
연구 결과, 정책 관련 로보틱스 디퓨전 월드 모델의 기반으로 의미론적 레이턴트 공간을 사용하는 것이 더 효과적임을 강조합니다.