연구진은 자연어를 통해 음성을 전송하는 새로운 프레임워크 'LAC'를 선보였습니다. LAC는 사전 학습된 LLM 기반 송수신 에이전트가 자연어를 통해 음성을 전달하는 방식으로 작동합니다.
송신 에이전트는 입력 파형을 해석 가능한 음향 기술자로 분해하고, 특징별 어휘를 사용하여 이를 언어화하며, 수신 에이전트는 문장을 음향 제약 조건으로 다시 변환하여 파형을 렌더링합니다.
실험 결과, 일반 텍스트는 측정 가능한 음향 구조를 유지하면서도 LLM 기반 통신에 적합한 해석 가능하고 편집 가능한 표현임을 확인했습니다.