연구진은 LLM의 입장 탐지 성능을 진단하는 SICI(Stance Inference Complexity Index)를 새롭게 제시했어요. SICI는 7가지 차원을 통해 대상 텍스트 쌍이 LLM에 가하는 의미-화용적 부담을 측정합니다.
SemEval-2016과 VAST 데이터셋에서 SICI는 표면적 특징보다 LLM 정확도를 더 잘 예측하며, GPT-3.5, DeepSeek-V3, GPT-4o 등 다양한 모델에서 일관된 경향을 보였어요.
SICI가 증가함에 따라 LLM 오류 패턴이 변화하는데, 낮은 복잡도에서는 과도한 입장 부여, 중간 복잡도에서는 불안정한 경계, 높은 복잡도에서는 None으로 집중되는 현상이 나타나요.