연구진이 세츠와나어 감정 분석 데이터셋을 구축하고, 시간 경과에 따른 어노테이터 간 일치도(IAA) 감소 원인을 분석했어요. 8개 배치로 나뉜 데이터셋에서 배치별 Kappa 값은 32포인트 이상 감소했어요.
분석 결과, 어노테이터는 부정/중립 경계에서 혼동을 겪고, 일부 어노테이터는 자동화된 라벨링 패턴을 보였으며, 가장 중요한 요인은 시간적 동시성이었어요. 1분 이내에 라벨링된 트윗은 Kappa 값이 0.98인 반면, 하루 이상 간격을 둔 트윗은 0.65에 불과했어요.
GPT-5와 Gemini를 포함한 세 가지 모델을 벤치마킹한 결과, 파인튜닝을 통해 사전 학습 모델 대비 최대 43개의 macro-F1 포인트를 향상시킬 수 있었으며, GPT-5 few-shot이 가장 높은 성능(62.2 macro-F1)을 보였어요.