연구진은 예측적 표현 학습에서 발생하는 체계적인 실패 모드를 보고했습니다. 선형 가우시안 역학을 예측하도록 훈련된 2695개의 신경망 구성에서 최적의 인코더는 모델해야 할 시스템이 아닌 환경을 추적합니다.
인과적 충실도(인코더 감수성의 시스템 자유도 비율)의 평균은 0.49이며, 2.5%의 구성만 0.70을 초과합니다. 차원이 증가함에 따라 최적의 인코더는 인과적으로 무지해지며(충실도 ~10^-8) 예측 오류는 92% 감소합니다.
연구 결과는 예측-인과 간극을 학습의 구조적 한계로 밝히고, 자기 지도 표현 학습, 세계 모델, 확장 패러다임에 대한 함의를 제시합니다.