연구진은 증오 표현과 허위 정보가 동시에 나타나는 온라인 환경에서 전문가의 카운터 스피치(CS) 작성을 돕기 위해 LLM을 활용하는 방법을 연구했어요. 팩트체커 가이드라인, NGO 보고서, 두 가지를 혼합한 전략 등 다양한 지식 기반 생성 전략을 테스트했죠. 전문가들은 LLM이 생성한 CS를 수정했는데, 수정 결과 자연스러움, 포괄성, 가이드라인 준수도가 크게 향상됐어요.
LLM이 생성한 CS가 40%의 경우에 적절했지만, 전문가의 수정은 자연스러움, 포괄성, 가이드라인 준수도를 크게 향상시켰어요. 특히 혼합 전략이 군중 소싱 평가에서 가장 효과적이었으며, 사실 교정과 고정관념 완화, 공감적 참여를 결합하는 것으로 나타났어요.