연구진은 힌디어, 벵골어, 태국어 등 저자원 동남아시아 언어의 복잡한 관용구 이해를 돕기 위해 다국어 관용구 코퍼스 '바르니카'를 구축했어요.
하이브리드 MoE(HybridMoE) 프레임워크는 여러 관용구 전문가의 의견을 통합하고, 선택된 전문가와 선택되지 않은 전문가의 출력을 혼합하여 전문가 희소성을 완화하며, 마스크된 다중 모드 임베딩을 통해 관용구 속성 신호를 활용해요.
실험 결과, 하이브리드 MoE는 기존 모델보다 5~6% 성능 향상을 보여주며, 다국어 다중 모드 환경에서 비유적 언어와 문화적 의미를 개선하는 데 기여했어요.