Pulse · AI 뉴스

sEMG와 입술 읽기를 활용한 강력한 무음 음성 합성: 크로스 모달 마스킹

arXiv cs.CL · 2026-06-09

연구진이 sEMG와 입술 읽기를 결합한 무음 음성 합성 프레임워크를 제안했어요.

훈련 과정에서 모달리티 마스킹을 활용하여 단어 오류율을 최대 14%p 개선했어요.

저비트레이트 환경에서 성능 향상과 모달리티 부재 시 일반화 성능을 확인했어요.

모달리티 간 상호 보완적 기여를 보여주며, 특히 모음과 특정 자음군에 강점을 보였어요.

##sEMG##입술읽기##무음음성합성##마스킹##AI
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기