연구진은 LLM이 외부 개념 자원을 활용하여 유대인 혐오와 같은 복잡한 현상을 감지하는 방식을 연구했어요. 다양한 개념적 표현 방식이 LLM의 성능에 미치는 영향을 분석했죠. 미세한 분류 방식 표현은 회수율을 높이지만 정밀도는 낮추는 반면, 더 큰 개념 자원을 제공해도 성능 향상은 미미했어요.
홀로코스트 이후의 유대인 혐오는 모델과 설정에 관계없이 가장 큰 어려움을 겪는 것으로 나타났어요. 설명 분석 결과, 개념적 참조 과다, 어휘적 단서 의존, 과신, 미묘하거나 정당화하는 형태의 유대인 혐오에 대한 어려움 등 체계적인 한계가 드러났습니다.