Yann LeCun은 LLM이 세계 모델을 대체해야 한다고 주장했지만, 이는 이분법적 사고방식이라는 주장이 제기됐습니다. LLM은 토큰 시퀀스 집합을 상태 공간으로 하는 세계 모델의 특수한 경우이며, 세계 모델은 LLM을 대체하는 것이 아니라 일반화하는 개념입니다. 현재 연구는 NTP에서 JEPA로 이어지는 연속적인 스펙트럼을 보여주며, 다중 토큰 예측, 미래 요약 예측, 다음 잠재 예측 등이 중간 단계에 존재합니다.
LLM 제약 조건을 완화하고 인터넷 규모의 자가 지도 학습 데이터와 토큰 예측을 위해 공동 설계된 트랜스포머 아키텍처라는 두 가지 장점을 포기하는 것이 필요합니다. 자가 지도 학습 텍스트에서 계측된 행동 레이블 환경으로의 데이터 격차와 연속 상태 예측에 대한 트랜스포머의 일반화 가능성이라는 두 가지 연구 질문이 남아 있습니다.