새로운 시스템을 통해 다양한 언어 작업에서 최고 수준의 결과를 얻었어요. 트랜스포머와 비지도 사전 훈련을 결합한 방법을 사용했어요. 지도 학습 방법과 비지도 사전 훈련을 결합하면 효과적이라는 것을 보여주는 결과예요.