본 연구는 신경망을 이용한 입력-출력 연관 기억의 한계를 연구합니다. 특히, 선형 연관 기억에서 $d$차원 임베딩 $p$개를 $\mathbb{R}^d$ 공간에 저장하고 검색하는 문제를 다룹니다. 분리된 모델을 도입하여 원래 모델과 저장 용량, 학습된 가중치 스펙트럼, 저장 메커니즘이 동일함을 확인했습니다.
통계 물리학 도구를 사용하여 분리된 모델이 최대 $p_c \log p_c / d^2 = 1 / 2$개의 연관성을 저장할 수 있음을 보였으며, 선형 2층 아키텍처에 대한 $p_c$ 계산을 일반화했습니다. 분석 결과, 최적의 솔루션은 경쟁 출력에 의해 설정된 극단값 임계값 바로 위로 올바른 점수를 높여 나이브 Hebbian 학습 규칙을 개선합니다.
본 연구는 선형 네트워크에서 사실적 저장에 대한 날카로운 통계 물리학적 특성을 제공하며, 보다 현실적인 신경 아키텍처의 메모리 용량을 이해하기 위한 기준점을 제시합니다.