이 논문은 루브릭 기반 다중 작업 학습을 통해 C++ 프로그래밍 과제 자동 평가 모델의 정확도를 높이는 방법을 연구했어요. CS1 데이터를 활용해 학생 제출물과 점수, 루브릭을 결합해 트랜스포머 모델에 입력했어요. BART 모델은 숫자 점수와 학점 예측을 동시에 학습하며, 실제 학점 분포와 예측 학점 분포를 맞추는 요소를 추가했어요.
단일 작업 학습, 하드 원-핫 레이블, 루브릭 유무 조건에서 실험을 진행한 결과, 루브릭 기반 소프트 레이블 학습 모델이 기존 모델보다 정확도가 높았어요. T5 모델을 활용해 학점 분포를 더욱 개선했고, 쌍대식 사전 학습은 숫자 오류를 줄이는 데 기여했지만 소수 클래스에 민감하게 반응했어요.
연구 결과, 교사의 평가 방식과 유사한 자동 평가 모델을 만들기 위해서는 루브릭 기반 학습이 중요하며, 정확도 최적화 방식보다 더 효과적이라는 것을 확인했어요.