연구팀은 언어 모델(LM)이 문법성과 가능성을 구분하는 내부 표현을 분석했습니다. 문법 오류를 발생시킨 문장을 학습한 선형 프로브는 인간이 평가한 문법성 판단 벤치마크에서 LM의 문자열 확률보다 뛰어난 성능을 보였습니다.
LM의 문법성 프로브는 의미적 타당성 벤치마크에서는 문자열 확률보다 성능이 떨어지는 것으로 나타났으며, 이는 문법성과 의미적 타당성이 별개의 개념임을 시사합니다.
영어 LM 프로브는 다양한 언어의 문법성 벤치마크에서 문자열 확률보다 우수한 성능을 보이며, 언어 간 문법성 구별 능력의 일반화 가능성을 보여주었습니다.