연구진은 트랜스포머 모델에서 개념 이동을 가능하게 하는 원인(unembedding covariance)을 분석했습니다. 17개 모델, 4개 언어 쌍을 대상으로 한 실험 결과, 스펙트럼 정규화만으로도 개념 이동이 가능하다는 것을 확인했습니다. 활성화 공간에서 개념 방향이 스펙트럼 꼬리 부분에 반집중되는 이중 기하학적 구조를 발견했으며, 이는 문법 정보를 인코딩하는 데 중요한 역할을 합니다.