연구진은 11,856 파라미터 규모의 Llama 스타일 트랜스포머 모델(Glimmer-1-Base)을 활용해 모듈러 연산에서 grokking 현상을 연구했어요. grokking은 훈련 데이터 커버리지에 따라 결정되며, 출력 카디널리티(모듈러스)와 연관돼요. 가중치 감소는 12K 파라미터 규모에서 Omnigrok 역 U자 형태를 재현하며, grokking 측정에 긍정적인 역할을 해요.
CPU 스레드 수 감소, CPU-GPU 실행 환경 변경 등 미세한 환경 변화에도 grokking 결과가 뒤바뀔 수 있으며, 이는 단일 실행 결과만으로 grokking 현상을 판단하는 데 한계가 있음을 보여줘요. 하위 작업 전문화는 데이터 커버리지를 저렴하게 만드는 데 도움이 되지만, 직접적인 감독은 중요하지 않아요.
연구진은 다중 시드 제어를 통해 고정된 수치 환경에서 단일 실행 결과의 오류를 수정하고, grokking의 증거는 고정된 수치 환경에서 측정된 다중 시드 비율이어야 함을 강조했어요.