연구진이 시크 키르탄(Sikh Kirtan) 실시간 자막 캡셔닝을 위한 벤치마크와 레퍼런스 시스템을 발표했어요. 시크 키르탄 자막은 정확한 단어 일치해야 하는 폐쇄형 어휘 문제예요.
연구진은 벤치마크를 4개의 수동 주석 Kirtan 녹음 x 3개의 콜드 스타트 오프셋 = 12개의 평가 케이스, 약 57분으로 구성했어요.
레퍼런스 시스템은 120M IndicConformer를 기반으로 하며, 전반적인 프레임 정확도가 57.9%에 달했어요.
벤치마크, 레퍼런스 시스템, 실시간 배포는 허용적인 라이선스 하에 공개되어 추가 개선을 촉진할 예정이에요.