연구진이 트랜스포머의 일반화 행동을 부울 영역에서 푸리에 스펙트럼 관점에서 분석했어요. 기존 연구와 달리 PAC-Bayes 이론을 활용해 일반화 경계를 연구했어요. 저차수 성분으로 집중된 희소 스펙트럼은 좋은 일반화 성능을 가진 낮은 샤프니스 구조를 가능하게 해요.
연구진은 희소성이 컨텍스트 길이보다 작거나 같은 부울 함수를 구현하는 평탄한 최소값을 구성하고 PAC-Bayes 경계를 이상적인 낮은 샤프니스 학습자에 적용해 의미 있는 일반화 경계를 얻었어요. 실제 트랜스포머에서 이론적 구성의 현실성을 뒷받침하기 위해 경험적 예측을 평가하고 메커니즘 해석 연구를 진행했어요.