연구진이 모든 ASR 모델에 적용 가능한 그라디언트 기반 음성-텍스트 정렬 방법을 개발했어요. 이 방법은 모델 수정 없이 입력에 대한 토큰 로그 확률의 그라디언트를 활용하여 단어 경계를 찾고, 기존 정렬 방식보다 더 정확한 결과를 제공할 수 있어요. TIMIT과 Buckeye 음성 데이터셋에서 16개의 모델을 평가한 결과, 모든 모델에서 유용한 정렬 결과를 얻을 수 있었어요.
기존 방식은 음성 LLM의 어텐션 가중치를 통해 단어 타이밍을 추정했지만, 새로운 방법은 모델 수정이나 정렬 헤드 없이 입력 그리드에서 직접 정렬을 수행하여 더 정확한 결과를 얻을 수 있다는 장점이 있어요. 다만, 토큰당 역전파 패스 비용이 발생하는 단점이 존재해요.
이 방법은 CTC나 트랜스듀서 모델과 같은 기존 정렬 방식보다 더 유연하게 적용될 수 있으며, 다양한 모델 패밀리에 걸쳐 활용 가능하여 음성 인식 기술 발전에 기여할 것으로 기대돼요.