연구진이 NLP 분야 논문 1,603편을 분석해 인간 어노테이션 정보 보고 현황을 조사했어요.
대부분의 논문은 어노테이터 채용 전략, 전문성, 작업량 등은 보고하지만, 어노테이션의 신뢰성을 평가할 수 있는 교육, 언어 능력, 보상, 인구 통계 등은 누락하는 경향이 있어요.
연구 결과, NLP 분야 어노테이션 정보 보고는 시간이 지남에 따라 개선되었지만 여전히 불균형하며, 어노테이션의 신뢰성, 재현성, 해석 가능성을 높이기 위한 최소 보고 기준을 제시했어요.