본 연구는 외국어로서의 영어(EFL) 글쓰기 환경에서 서면 수정 피드백(WCF)을 분석해요. LLM이 대량의 WCF를 제공할 수 있지만, 교육적 최적 사례에 맞추는 데 어려움이 있어요. 사실성이나 관련성과 같은 기준을 충족하는 WCF도 학습 관점에서 부적합할 수 있어, 학습자의 관점에서 외재적 평가가 필요해요.
대학 EFL 수업에서 WCF 시스템을 활용해 2천 명 학생의 2만 편 초안을 수집하고, 경험 많은 영어 교사의 내재적 평가와 학생 피드백, 참여 지표를 통해 외재적 평가를 진행했어요. 결과적으로 교사 평가와 학생 피드백 간 일치도가 낮게 나타났어요.
전통적인 전문가 평가만으로는 AI 기반 언어 교육 애플리케이션의 유용성이나 학습자의 도움이 되는 정도를 제대로 파악하기 어려우므로, 학습자 중심 평가 프레임워크의 중요성을 강조합니다.