본 논문은 기계 학습 평가가 중립적인 측정 과정으로 여겨지는 것을 비판하며, 실제 정보 시스템에서는 레이블 생성 과정에 따라 평가 결과가 영향을 받는다는 점을 지적합니다.
평가 주권이라는 개념을 도입하여 레이블 권한과 감독 체제에 따른 성능 측정의 독립성을 평가하고, 다중 트랙 평가 프레임워크를 제안하여 레이블 소스를 체계적으로 변경합니다.
실험 결과, 운영 환경에서 높은 성능을 보이는 모델이 독립적인 평가 환경에서는 성능이 크게 저하되며, 특히 세분화된 분류에서 두드러지게 나타납니다 (Micro-F1 점수가 약 0.54에서 0.03으로 감소).