음성 모델 증류는 추론 지연 시간을 줄이지만, 추가적인 학생 모델 훈련이 필요해요. 본 연구에서는 음성 모델 증류 훈련 속도를 가속화하여 모델 배포를 빠르게 하는 방법을 탐색했어요. 기존 스태킹 방법의 성능 저하 문제를 해결하기 위해 레이어 위치를 일관되게 유지하는 새로운 스태킹 방법인 interleaved 스태킹을 제안했어요.
Interleaved 스태킹은 각 레이어가 고유한 지식을 담고 있는 음성 모델에서 특히 중요해요. SUPERB 데이터셋을 통해 제안하는 방법의 효과를 검증했어요. 이를 통해 음성 모델 증류 훈련 속도를 높여 모델 배포를 가속화할 수 있어요.
본 연구는 음성 모델 증류 훈련 속도를 향상시켜 모델 배포를 더욱 효율적으로 만들 수 있는 가능성을 보여줘요.