연구진은 신경망 언어 모델(NLM)이 문법성을 구별하는지 조사했어요. 기존 연구는 확률 기반 측정에 의존했지만, 확률 비교는 문법성과 가능성을 혼동할 수 있다는 비판이 있었어요. 연구진은 mass-mean probing을 통해 문법적/비문법적 문장이 표현 공간에서 분리되는지 확인했어요.
문법성이 문법 현상과 언어에 걸쳐 일반화되는 것을 확인했고, 이는 문법성이 현대 NLM에서 일관된 표현 차원임을 시사해요. 이 연구는 언어 모델의 구문 지식에 대한 논쟁에 새로운 증거를 제공하고 확률에 의존하지 않는 문법 역량 평가 프레임워크를 제시해요.
연구 결과, 사전 훈련된 다양한 NLM의 문장 표현에서 문법성이 강력하게 인코딩되어 있으며, 다른 문장 수준 요인으로 완전히 설명할 수 없는 문법성 차원에서 명확한 표현 분리를 보여줬어요.