본 연구는 Masked Language Modeling 학습 시 토큰 마스킹 전략을 개선하기 위해 엔트로피 분포를 활용하는 방법을 제안합니다. 모델의 토큰 예측 엔트로피를 활용하여 더 많은 정보를 담고 불확실성이 높은 토큰을 마스킹 대상으로 선정합니다. 실험 결과, GLUE 점수에서 평균 5%의 성능 향상을 확인했으며, 지식 증류와 결합하여 더욱 뛰어난 결과를 얻었습니다.
기존의 무작위 마스킹 방식의 한계를 극복하기 위해, 본 연구는 모델의 예측 엔트로피를 기반으로 마스킹할 토큰을 선택하는 새로운 전략을 제시합니다. 이는 학습 효율성을 높이고 모델의 성능을 개선하는 데 기여합니다.
새로운 self-masking 기법을 통해 외부 참조 모델 없이도 학습 효율성을 높였으며, 엔트로피 마스킹과 지식 증류를 결합하여 GLUE 벤치마크에서 최고 성능을 달성했습니다.