연구진이 공개된 오픈 웨이트 상호작용 세계 모델의 방법론을 공개했어요. 이 모델은 사용자의 입력을 받아 실시간으로 프레임을 생성하는 인과 DiT를 기반으로 합니다.
모델의 드리프트 방지를 위해 양방향 및 자기회귀 어텐션을 혼합한 MoBA 어텐션 마스크와 동적 KV 캐시 스케줄링을 사용하며, 이를 통해 장기 롤아웃을 관리 가능하게 만들었어요.
훈련 후 일관성 증류 및 장기 자체 롤아웃 트래jectory를 활용한 분포 매칭 증류를 통해 LingBot World의 안정성을 유지하며, 60분 연속 롤아웃 스트레스 테스트에서 눈에 띄는 성능 저하 없이 통과했어요.