연구진은 ASR 시스템에서 발생하는 타임스탬프 드리프트 문제를 분석했어요. 장시간의 비음성 구간에서 타임스탬프 축이 실제 오디오와 동조되지 않는 현상이에요. 이를 해결하기 위해 'REDDIT'라는 새로운 프레임워크를 제안했어요.
REDDIT는 모델 자체의 디코더 컨텍스트를 활용해 타임스탬프 목표를 수정하고, 비타임스탬프 토큰에 대한 기본 분포를 유지하여 파국적인 망각을 방지해요. 인간의 트랜스크립션이나 타임스탬프 주석 없이 VAD를 활용해 교정 지도 데이터를 생성했어요.
Whisper-tiny 모델에 34.9시간의 교정 오디오를 사용하고 모델 파라미터의 1.6%만 업데이트하여 장시간 간격 mIoU를 38.7%에서 95.0%로 향상시켰어요. CV-en MER은 41.3%로 유지했어요.
기존 SFT 디코더 튜닝 방식으로는 MER이 524.2%까지 악화되었던 것에 비해 REDDIT는 효과적으로 타임스탬프 드리프트를 교정하면서도 ASR 성능 저하를 최소화했어요.