연구진이 디스크리트 디퓨전 언어 모델을 활용해 음성 인식을 수행하는 새로운 방식을 제시했어요. DiffusionGemma 모델은 260억 개의 Mixture-of-Experts 파라미터로 구성되어 있으며, 기존 방식보다 더 빠르고 효율적인 음성 인식 가능성을 보여줘요. Whisper 인코더와 저랭크 어댑터를 결합하여 6.6%의 단어 오류율을 달성하고, 영어, 힌디어, 중국어 등 6개 언어에 적용할 수 있어요.
기존 방식의 한계를 극복하기 위해 연결 지향적 시간 분류(Connectionist Temporal Classification) 손실 함수를 적용하여 오디오 데이터 기반 학습을 가능하게 했어요. 이를 통해 음성 데이터의 그래디언트가 프로젝터를 통해 전달될 수 있도록 개선되었으며, 학습 효율성을 높였어요. 새로운 방식은 기존 방식보다 훨씬 적은 파라미터(약 4200만 개)로 학습되었으며, 전체 모델의 0.16%에 불과해요.
새로운 모델은 LibriSpeech 테스트 세트에서 6.6%의 단어 오류율을 기록했으며, 문장의 길이에 상관없이 약 8단계의 병렬 처리로 음성을 인식해요. 이는 기존 방식보다 훨씬 빠르고 효율적인 음성 인식 성능을 의미하며, 다양한 언어에 대한 확장 가능성을 보여줘요.