연구진은 방글라어 이벤트 감지 시스템의 노이즈 강건성을 평가하기 위한 새로운 벤치마크를 공개했어요. 9,979개의 문장으로 구성된 이 벤치마크는 깨끗한 뉴스 텍스트, ASR 기록, 오타가 있는 텍스트를 포함해요.
BanglaBERT, XLM-R과 같은 인코더 모델은 깨끗한 텍스트에서는 성능이 좋지만 노이즈에 취약한 반면, Llama 3, Gemma 3과 같은 디코더 모델은 노이즈에 더 강건한 것으로 나타났어요.
디코더 모델의 성능은 스케일링에 따라 꾸준히 향상되며, 깨끗한 데이터와 노이즈 데이터를 함께 학습하면 인코더 모델의 강건성을 향상시키는 데 효과적이에요.