연구진이 MoE(Mixture of Experts) 아키텍처와 CIF(Continuous Integrate-and-Fire) 메커니즘을 결합한 LLM 기반 ASR 프레임워크를 제안했어요. 이 프레임워크는 다국어 일반화와 모달리티 정합 문제를 해결하는 데 목표를 두고 있어요. 실험 결과, 제안된 방법은 기존 모델보다 성능이 향상된 것으로 나타났어요.
Mixture of Experts는 언어 간 적응력을 높이고, Continuous Integrate-and-Fire는 동적 다운샘플링과 모달리티 정합을 담당해요. 이를 통해 LLM 기반 ASR 시스템의 정확성, 견고성, 일반화 능력을 높일 수 있어요.
연구는 LLM 기반 ASR 시스템을 더욱 정확하고 강력하며 일반화 가능하도록 구축하는 데 기여할 것으로 기대돼요.