연구진은 자연어 처리(NLP) 분야의 기술 개발을 주제별 분석 대신 개체 중심적으로 분석했어요. BERT, Transformer와 같은 사전 학습 언어 모델의 등장으로 NLP 기술 혁신에 활력을 불어넣었어요. 최근에는 새로운 고성능 기술의 인기가 급증하며 연구자들의 수용 속도가 빨라지고 있어요.