연구진은 사이버 범죄 관련 Discord 채팅에서 유해 온라인 커뮤니케이션의 해석 난이도를 분석했어요. 전문가 검토를 거친 기준 해석을 바탕으로 인간과 LLM의 해석 정확도를 다양한 맥락 조건에서 평가했어요.
연구 결과, 인간은 지역 맥락만으로는 해석이 어렵지만 외부 지식과 확장된 대화 맥락이 해석 정확도를 높이는 반면, LLM은 지역 맥락이 해석에 도움을 주고 모델 크기가 클수록 성능이 좋았어요.
연구는 유해 콘텐츠 분석 시 해석을 증거 통합 문제로 접근해야 하며, 메시지 수준 분류만으로는 한계가 있다고 제안하며 해석 난이도를 유발하는 요인을 분류했어요.