SamaVaani는 8개 최신 ASR 모델의 성능을 칸나다어, 힌디어, 인도식 영어로 평가했어요. 모델과 언어에 따라 성능 편차가 크며, 일부 시스템은 지역 방언에서 실패했어요.
Gemma3n과 OmniLingual 모델을 개선했지만, 화자 역할과 성별에 따른 성능 격차가 발견돼 공정성 문제가 제기됐어요.
SamaVaani는 ASR 성능과 공정성을 동시에 개선하는 통합 편향 해소 기법으로, 다양한 인구 집단 간의 공정성을 높이는 데 기여합니다.