StepAudio 2.5는 ASR, TTS, 실시간 음성 상호작용에서 기존 모델의 한계를 극복한 통합 음성-언어 기반 모델입니다.
연구진은 음성과 텍스트가 공유하는 멀티모달 표현 공간을 활용하여 각 작업의 특수성을 운영 방식의 차이로 정의하는 접근 방식을 취했습니다.
RLHF(Reinforcement Learning from Human Feedback)를 활용한 맞춤형 최적화와 전문화된 디코딩을 통해 ASR, TTS, 실시간 상호작용에 최적화된 세 가지 운영 모드를 구축했습니다.