연구진은 언어 모델이 사전 훈련만으로 의미 역할 이해 능력을 갖추는지, 아니면 특정 작업에 대한 미세 조정이 필요한지 조사했어요. 모델 규모에 따라 사전 훈련된 표현에는 상당한 의미 역할 정보가 포함되어 있으며, 미세 조정된 모델과 거의 비슷한 성능을 보였어요. 의미 역할 구조는 언어 모델링 목표에서 자연스럽게 발생하지만, 모델 규모가 커짐에 따라 내부 구현 방식은 더욱 분산된 표현으로 전환돼요.