자동 평가자는 평가 및 자동화된 콘텐츠 관리에 점점 더 많이 사용되고 있지만, 루브릭 수정이 인간과 자동 평가자의 점수 일치에 미치는 통계적 분석은 제한적입니다.
전반적이거나 '전체론적' 판단을 묻는 루브릭은 기준의 복잡성이나 주관성으로 인해 일관성 있게 해석되지 않을 수 있지만, '분석적' 판단을 묻는 루브릭은 평가 기준을 분해할 수 있습니다.
자동 에세이 채점 및 지시 따르기 평가 영역의 결과에 따르면 실무자는 도메인 및 루브릭별 성능을 신중하게 분석하여 인간-자동 평가자 간 일치를 높여야 합니다.