연구진은 비전 트랜스포머(ViT)의 기하학적 이해 부족을 해결하기 위해 Transformer Geometry Observatory (TGO) 프레임워크를 소개했어요.
TGO-I는 ViT 표현의 스펙트럼 기하에 초점을 맞춰 ImageNet-100 데이터셋으로 학습된 ViT-Small/16 모델을 분석했어요.
분석 결과, 차원 활용 증가, 불균일성 감소, 스펙트럴 엔트로피 증가, 참여율 증가, 더 평탄한 고유 스펙트럼이 관찰되었으며, 이는 정보가 소수의 주요 방향으로 집중된다는 일반적인 직관과 반대되는 현상이에요.