Pulse · AI 뉴스

서브워드 정규화: 사전 훈련 시 BPE 드롭아웃 효과 연구

arXiv cs.CL · 2026-05-13

본 연구는 사전 훈련 시 서브워드 정규화 기법인 BPE 드롭아웃을 적용했을 때 저자원 자연어 처리 성능에 미치는 영향을 조사합니다.

BPE 드롭아웃을 사전 훈련과 미세 조정 모두에 적용하는 것이 일반적으로 가장 좋은 결과를 얻으며, 미세 조정 시에만 적용하면 데이터가 적은 경우 오히려 성능이 저하될 수 있습니다.

연구 결과, 사전 훈련 시 BPE 드롭아웃은 더 나은 형태소 경계 정렬을 제공하여 성능 향상에 기여할 수 있음을 시사합니다.

##사전훈련##BPE##드롭아웃##저자원##NLP
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기