ProPS는 자연어 프롬프트를 기반으로 화자 임베딩 분포를 생성하는 새로운 프레임워크입니다. 인간이 작성한 프로필 설명을 문장 임베딩으로 변환하고, 혼합 밀도 네트워크를 사용하여 x-벡터 공간에서 가우시안 혼합 모델을 예측합니다.
ProPS는 요청된 화자 속성(나이, 성별, 억양 등)을 보존하는 x-벡터를 생성하며, 실제 화자 임베딩과 요청된 프로필의 일치 가능성을 최대화하여 학습합니다.
TTS나 음성 변환과 같은 음성 생성 시스템에서 제어 가능한 화자 프로필 합성을 가능하게 하며, 관찰된 화자 임베딩 구조에 분포를 고정합니다.