연구진이 신경망의 일반화 능력과 표현 기하학의 관계를 연구했어요. 차원 축소 현상이 grokking 발생 전에 일관되게 나타나는 것을 확인했어요. 새로운 기하학적 정규화 방법(GeomDR)을 제안하여 grokking 발생을 가속화하고 일반화 능력을 향상시켰어요.
GeomDR은 학습 중 표현 기하학적 차원을 조절하는 간단한 스펙트럴 정규화 기법이에요. 다양한 작업에서 grokking 발생을 최대 52배까지 가속화하는 효과를 보였어요.
다층 퍼셉트론과 트랜스포머에서 유사한 효과가 관찰되어, 표현 기하학이 grokking 제어에 효과적인 신호가 될 수 있음을 시사해요.