연구진은 기존 ASR 모델이 음성 기록 스타일(직역 vs. 의도)을 제어하지 못해 디코딩 불안정, 평가 왜곡, 부정확한 워드 레벨 타이밍 문제를 야기함을 확인했어요.
직역/의도 병렬 데이터로 학습된 커버리지 기반 디코더 태스크 토큰을 활용해 영어로만 학습했음에도 독일어 불유창성 F1 점수를 10%에서 79%로 끌어올렸어요.
직역 정확도, 불유창성 감지, 의도 모드 품질을 모두 향상시키는 영어 전용 파인튜닝 방법을 제시하고, 워드 레벨 타임스탬프 개선을 위한 교차 어텐션 파인튜닝 기법도 선보였어요.