금융과 같은 규제된 영역에서 LLM 기반 ASR은 개인 정보 문제로 어려움을 겪고 있습니다. 합성 TTS를 활용하더라도 실제 음성과 음질 차이가 존재하며, 기존에는 지도 학습 방식으로 개선해왔습니다. 연구진은 강화 학습인 GRPO를 통해 동일한 합성 음성에서 더 많은 정보를 추출할 수 있음을 보여주었습니다.
GRPO를 활용한 모델의 합성 음성만으로의 적응은 단어 오류율(WER)을 40% 개선했습니다(36.71%→22.09%). 지도 학습 후 GRPO를 결합하면 WER을 45%까지 줄일 수 있습니다.
GRPO는 발화 중단 시점 조절 및 오디오에 대한 어텐션 정렬을 개선하여 삽입 오류를 줄이는 방식으로 작동하며, 초기 레이어 표현은 그대로 유지합니다. 합성 음성만 주요 자원일 경우 강화 학습이 지도 학습보다 선호됩니다.