연구진이 대규모 언어 모델(LLM)의 토큰 임베딩을 연속 스핀 변수로 취급하는 통계적-장 프레임워크를 제안했어요. softmax 온도(T)를 변화시키며 임계 온도(Tc) 부근에서 민감도 피크, 질서 변수의 급격한 변화, Tc 이하에서는 단일 의미 방향으로 붕괴 현상을 관찰했어요. TwoNN 방법으로 추정한 고유 차원 역시 Tc 부근에서 최소값을 기록하며 이러한 결과를 뒷받침했어요.
Qwen3 모델(0.6B~32B) 규모와 프롬프트 종류에 관계없이 결과가 견고함을 확인했으며, 자가 회귀 생성의 비평형적 특성으로 인해 추가 연구가 필요하다고 밝혔어요. 이 프레임워크는 LLM 출력의 집단 통계적 구조를 탐구하는 데 필요한 도구를 제공하며, 디코딩 전략과 임계 현상 간의 연결고리를 시사합니다.
연구는 LLM의 생성 과정에서 나타나는 현상을 통계적 장 이론으로 설명하고, 모델 규모와 프롬프트 종류에 따른 결과의 일관성을 확인하여 LLM 연구에 새로운 시각을 제시합니다.