연구진은 계층적 구조를 가진 합성 언어를 개발하여, 언어 모델에서 컨텍스트 길이와 추론의 역할을 정확하게 분석했습니다. Ising 방송 과정에서는 분산이 컨텍스트 깊이에 따라 로그 선형적으로 증가하고, 컬러링 방송 과정에서는 컨텍스트 길이가 짧으면 잘못된 시퀀스가 생성됩니다. 연구진은 추론 모델이 제한된 작업 메모리로도 정확하게 샘플링할 수 있음을 증명하고, 실험적으로 이를 검증했습니다.