연구진은 모듈러 연산에 대한 신경망 훈련 시 나타나는 Grokking 현상을 연구했어요. 모델 용량이 너무 작으면 암기만 하고, 너무 크면 즉시 일반화하는 현상이죠.
전고리 단항 활성화 함수와 모듈러 연산으로 인코딩된 작업을 사용한 2층 네트워크를 분석한 결과, 네트워크 출력은 (k+1)차원 부분 공간에 제한되는 것을 확인했어요.
작업은 이산 푸리에 지지대가 대각선 u+v = k (mod p) 위에 놓일 때 표현 가능하며, 선형 위상 타겟의 경우 m+n=k라는 산술 기준을 만족해야 해요.
585번의 실행에서 대수적 예측은 관찰된 결과와 99.8%의 정확도로 일치하며, 암기 단계나 Grokking 단계 없이 즉각적인 성공 또는 완전한 실패로 나뉘는 이분법적 행동을 보였어요.