대규모 언어 모델(LLM)은 훈련 데이터에서 동일한 개념이 여러 방식으로 제시되는 경향이 있어요. 사실은 영어와 스와힐리어로, 함수는 파이썬과 하스켈로, 명제는 형식어와 자연어로 표현될 수 있죠.
연구 결과 LLM은 개념의 여러 표현 방식 간의 통계적 강점을 파악하고 공유하지 못하는 구획화 현상을 보입니다. 최악의 경우, LLM은 각 표현 방식에 대한 별도의 내부 표현을 학습하여 모델 용량을 중복으로 채우고 샘플 효율성을 저해합니다.
작은 모델의 경우 초기 다국어 학습은 거의 완전히 구획화되는 것으로 나타났으며, 모든 실험적 개입은 표현 통일성을 일관성 없이 만드는 상전이 현상을 보입니다.