연구진은 실세계 로봇-객체 상호작용을 시뮬레이션 가능한 에피소드 쌍으로 변환하는 Agentic Real2Sim 프레임워크를 공개했어요. 이 프레임워크는 장면 기하, 객체 상태, 물리적 파라미터를 복원하고 액터, 객체, 카메라, 자세, 경로를 조립합니다.
Agentic Real2Sim은 강체 조작, 변형 객체 상호작용, 휴머노이드 동작 장면 등 다양한 영역에서 평가되었으며, 기존 Real2Sim 파이프라인을 대체할 가능성을 보여줬어요.
오픈 웨이트 VLM 백엔드를 활용하여 기존 최고 성능 모델 대비 비용을 줄이면서도 유사한 변환 성공률을 달성했으며, 결과로 얻은 실세계 정렬된 트윈을 로봇 제어 정책 학습 및 평가에 활용할 계획이에요.