연구진은 언어 모델 표현에서 클래스 내 분산이 정보 저장 공간을 할당하는 현상이며, 이는 특정 법칙을 따른다고 주장했어요. 이 법칙은 토큰 수준 가중치 감소로 인해 다음 토큰 예측을 불균형 K-클래스 문제로 만들어요. 연구 결과, 클래스 내 분산은 조건부 상호 정보에 비례하는 최소 바닥을 강제받는다는 것을 확인했어요.
이 정보 바닥은 테스트된 모든 모델과 파티션에서 동일성을 추적하며, 모델 간 정보가 분산을 예측하는 현상도 관찰돼요. 사전 훈련 과정에서 범주 비율이 일시적으로 증가하고 감소하며 부분적으로 회복되는 이유는 해당 범주가 반드시 담고 있어야 하는 정보가 사라지지 않기 때문이에요.
이 연구는 언어 모델의 정보 저장과 표현 방식에 대한 새로운 통찰력을 제공하며, 모델 설계 및 이해에 중요한 시사점을 던져줘요.