연구진은 클래스별 어노테이터 정확도를 고려한 불균형 크라우드소싱 문제를 다루고 있어요. 기존 모델은 항목 난이도나 클래스별 오류를 제대로 반영하지 못했어요. 이를 해결하기 위해 항목 난이도와 클래스별 어노테이터 역량을 결합한 생성 집계 모델을 제시했어요.
제안 모델은 어노테이터 능력과 항목 난이도가 클래스별로 달라지도록 설계됐으며, 소수 클래스 회수율을 높이는 데 효과적이에요. 다수 투표는 점근적으로 기본 클래스 비율을 유지하는 것으로 나타났어요.
실제 크라우드소싱 데이터셋 33개를 활용한 실험에서 제안 모델은 소수 클래스 회수율이 가장 높았으며, 균형 정확도에서도 경쟁력을 보였어요.