본 논문은 언어 모델이 실제 토큰 경로를 학습한다고 설명하지만, 이는 조건적으로만 맞으며, 모델은 완전한 조건부 법칙이 아닌 샘플링된 연속만 관찰합니다.
언어 생성은 이전 단어뿐만 아니라 사실, 사건, 의도, 목표, 신념, 사회적 맥락, 작업별 제약과 같은 비텍스트 환경에 의해 조건부로 결정됩니다.
본 논문은 주변화된 텍스트만 법을 추정하는 것은 정상성, 대표성, 인과성이라는 가정을 필요로 하며, 이 가정들은 이질적인 언어 코퍼스에 적용하기 어렵다고 주장합니다.