언어 모델의 놀람 정도가 문맥 예측 가능성을 나타내는 지표로 사용되며, 은유 참신성 판단과 관련이 있다고 알려져 있습니다. 하지만 놀람 정도는 어휘 빈도와 밀접하게 연관되어 있어, 이 상호작용을 연구했습니다.
Pythia 모델 8가지 크기와 154개의 학습 체크포인트를 분석한 결과, 어휘 빈도가 놀람 정도보다 은유 참신성을 더 잘 예측하는 것으로 나타났습니다.
학습 단계별로 놀람 정도와 참신성 간의 연관성은 초기 단계에서 최고조를 이루었다가 다시 감소했는데, 이는 놀람 정도와 어휘 빈도 간의 연관성이 증가하는 시점과 일치했습니다.