본 연구는 음성 및 텍스트를 직접 입력으로 사용하는 자동 평가 모델이 학습하는 '단축 경로' 문제를 다루고 있습니다. 이러한 단축 경로는 학습자가 실제 능력 향상 없이 점수를 높이는 데 악용될 수 있습니다. 연구진은 이러한 단축 경로 의존성을 줄이는 새로운 학습 기준을 제안하여, 음성 및 음성 인식 텍스트 기반 평가 시스템 모두에 적용했습니다.
자동 평가 시스템이 인간 평가와 비교했을 때, 악용될 수 있는 특징에 과도하게 의존하는 경향이 있다는 것을 확인했습니다. 제안된 학습 기준을 적용하여 이러한 의존성을 인간 평가 수준으로 줄이는 데 성공했습니다.
본 연구는 자동 평가 시스템의 공정성과 신뢰성을 높이는 데 기여하며, 잠재적 악용 가능성을 줄이는 데 중요한 의미를 가집니다.