연구진은 신경망이 우연한 상관관계에 과도하게 의존하는 현상에 대해 분석했어요. 특히 2층 ReLU 신경망이 온라인 미니배치 SGD로 로지스틱 손실을 학습할 때 발생하는 현상을 이론적으로 규명했어요.
분석 결과, SGD는 우연한 특징을 먼저 빠르게 학습하며, 이 특징과 실제 신호 특징 간의 연관성을 발생시켜 신호 특징 학습을 억제하는 것으로 나타났어요.
우연한 상관관계가 강할수록 모델은 XOR를 학습하는 샘플 복잡도 임계값에서도 우연한 특징을 지배하며, 상관관계 강도가 일정할 경우에도 우연한 특징은 잊혀지지 않는다는 사실을 밝혀냈어요.