연구진은 GPT-2 스타일 언어 모델 사전 훈련 시 재사용 가능한 초기화 신호로 활용할 수 있는 구조적 가중치 스펙트럼 패턴을 분석했어요. 11개의 사전 훈련된 모델을 분석한 결과, 레이어 및 트랜스포머 하위 구성 요소에서 공유되는 깊이 추세가 관찰됐어요. 재사용 가능한 가중치 초기화 방식이 성능 향상을 가져오지 못했지만, 사전 훈련된 스펙트럼은 훈련된 모델 구조를 진단하는 데 유용하다는 결론을 내렸어요.