연구진은 대규모 언어 모델(LLM)이 어떻게 금지된 표현을 학습하는지 조사했어요. Construction Grammar 이론에 따르면, 특정 표현에 대한 노출이 다른 가능한 표현을 차단하는 '통계적 사전 차단' 현상 때문이에요.
실험 결과, LLM의 놀라움 정도가 인간의 수용 가능성 판단과 강하게 연관되고, 이는 경쟁적인 형태의 빈도에 따라 결정되며 모델 크기에 따라 비례적으로 증가했어요.
연구진은 LLM을 미세 조정하여 경쟁적인 형태의 빈도를 조작함으로써 사전 차단 행동을 예측한 대로 변화시켰고, 이는 LLM이 분포적 경쟁을 통해 부정적인 언어 지식을 습득한다는 증거를 제시해요.