연구진은 Grokking 지연이 작업 구조화된 표현을 형성하는 데 걸리는 시간을 유발하며, 대비 사전 학습을 통해 주입할 수 있음을 확인했어요.
잘못된 특징 패밀리(진폭 대역)로 구성된 일관성 있는 학습 가능한 사전 학습은 일반화 능력을 저해하며, 이는 무작위 파티션과 유사한 결과를 보여요.
완전히 레이블 없는 불변성 사전 학습은 레이블이 있는 사전 학습보다 더 안정적으로 빠른 속도로 일반화하며, 가중치 정규화 클램프와 결합하면 가장 강력한 방법으로 작동해요.
사전 학습은 초기 단계에서만 필요하며, 처음 2000 에포크 동안만 적용해도 일반화 성능을 향상시킬 수 있으며, 지속적으로 적용하는 것보다 효과적이에요.