연구진은 주관적 NLP 작업의 체계적인 평가자 간 불일치를 해결하기 위해 앙상블 가중치, 효과적인 개수, 교정을 공동으로 최적화하는 예측 공간 프레임워크인 EDO(Ensemble Diversity Optimization)를 소개했어요.
EDO는 Gumbel-Softmax 이완과 서명된 다양성 정규화를 통해 앙상블 구성 및 크기를 엔드투엔드 방식으로 학습하며, 검증 데이터에서 조정된 정규화는 불일치를 보존하거나 억제하도록 최적화를 유도해요.
ArMIS, ConvAbuse, HS-Brexit, MD-Agreement 4가지 주관적 텍스트 분류 벤치마크에서 실험 결과, EDO는 확률적 교정을 크게 개선하고, Soft-CE, Soft-MD, Top-5 Voting, WEL 대비 교차 엔트로피와 Brier 점수를 낮추며 F1 점수도 경쟁력 있게 유지했어요.