연구에 따르면 대규모 언어 모델은 요일, 월과 같은 구조화된 개념을 기하학적으로 정확한 다양체에 배치합니다.
맥락이 모델이 사용하는 구조를 결정하며, 선언적 규칙은 기하학적 토폴로지 유형을 고정합니다.
Gemma 및 Qwen과 같은 모델에서 맥락 설정된 기하학은 사전 훈련된 강력한 선입견을 능가하며, 활성화 패턴을 통해 이를 확인할 수 있습니다.
작은 모델에서도 대략적인 기하학적 지도가 형성되지만, 큰 모델(Gemma-31B, Qwen-27B)에서만 명확하게 드러납니다.