연구진은 RNN, 트랜스포머 등 현대 딥러닝 아키텍처의 정보 병목 현상을 '인덱싱'이라는 기본 연산을 통해 분석했어요. 마스크된 아키텍처는 인덱스가 입력 끝에 나타날 때 특정 층 수 내에서 인덱싱 연산을 해결할 수 없으며, 이는 저파라미터 RNN, SSM, 마스크된 트랜스포머에 해당해요. 소프트맥스 트랜스포머는 1층에서, 비마스크 트랜스포머는 2층에서 인덱싱 연산을 해결할 수 있으며, 실험 결과 이론적 예측과 일치하는 것으로 나타났어요.