연구팀은 LLM의 일반화된 인간 지능처럼 물리적 세계 모델에서도 유사한 새로운 능력을 추구하며, 특히 물리적 세계 모델링에 집중하고 있습니다. 연구는 객체를 물리적 현실을 구성하는 기본 요소로 보고, 객체의 상태를 명확하게 모델링하는 새로운 아키텍처인 WorldString을 제안합니다. WorldString은 포인트 클라우드 또는 RGB-D 비디오 스트림에서 직접 학습하여 실세계 객체의 상태 공간을 모델링합니다.
WorldString은 디지털 트윈 역할을 하며, 물리적 세계 모델 구축을 위한 기반 요소로 활용될 수 있습니다. 특히, WorldString의 완전 미분 구조는 향후 정책 학습 및 신경 동력학과의 통합을 용이하게 합니다. 연구팀은 이를 통해 객체 상태를 통일된 방식으로 모델링하는 새로운 접근 방식을 제시합니다.
WorldString은 기존의 비디오 생성 또는 동적 장면 재구축 방식과는 달리, 객체의 상태를 명확하게 모델링하여 실시간으로 객체의 상태 변화를 반영할 수 있습니다. 이를 통해 물리적 세계 모델의 성능을 향상시키고, 다양한 응용 분야에 활용될 수 있을 것으로 기대됩니다.