본 연구는 조건문에서의 전제 투영이 의미 및 화용론 이론의 핵심이지만, LLM에서는 제대로 평가되지 않았다는 점에 주목합니다. 인간 판단과 LLM 예측을 비교하기 위해 표준화된 조건문 데이터셋을 활용했습니다.
120명의 참가자와 4개의 LLM을 대상으로 동일한 상황에서 가능성 평가를 진행한 결과, 인간은 확률적, 화용적 단서를 통합하여 판단하는 반면, LLM은 인간 패턴과 일관성이 부족했습니다.
언어학적 이론에 기반한 체크리스트를 활용하여 LLM의 추론 능력을 평가한 결과, 인간 평가와 일치하는 모델은 일관된 화용적 추론 능력이 부족하고, 추론 능력이 강한 모델은 인간과 유사한 판단을 내리지 못하는 것으로 나타났습니다.