연구팀은 저자원 언어에 대한 BERT 모델 개발의 어려움을 해결하기 위해 영문 BERT 모델을 번역 데이터로 파인튜닝하는 방법을 연구했어요.
불가리아어, 중국어, 네덜란드어, 이탈리아어, 러시아어 데이터를 영어로 번역해 6가지 NLP 작업(감성 분석, 혐오 표현 탐지, 질문 답변 등)을 수행한 결과, 53.3%의 경우 기존 방식과 비슷하거나 뛰어난 성능을 보였어요.
특히 질문 답변, 품사 태깅, 자연어 추론 작업에서 효과적이었으며, 네덜란드어와 같이 영어와 유사한 언어에서 더 좋은 결과를 얻었지만, 중국어와 같이 문화적 뉘앙스가 중요한 작업에서는 성능이 떨어졌어요.