연구팀이 벵골어 혐오 표현(HS) 탐지 시스템의 문제점을 지적했어요. 벤치마크 데이터셋에서 높은 성능을 보이지만 실제 사용 환경에서는 성능이 현저히 떨어져요. 특히, 풍자나 이모티콘을 사용한 암묵적인 혐오 표현을 제대로 감지하지 못하는 한계가 있어요.
BanglaBERT 모델은 벤치마크 데이터셋에서 91.4%의 F1 점수를 기록했지만, 실제 데이터셋에서는 75.3%로 하락했고, 풍자적인 혐오 표현은 63.4%에 불과했어요. FastText + CNN 모델도 유사한 성능 저하를 보였어요.
이모티콘을 고려한 전처리 방식은 암묵적인 혐오 표현 탐지 성능을 최대 12% 향상시켰지만, 이모티콘 제거 시 성능이 크게 저하됐어요. 정치적으로 민감한 댓글에서 오분류가 자주 발생하며, 과도한 검열 위험을 야기할 수 있다는 점을 지적했어요.