연구진은 LLM이 문항 차별성을 얼마나 잘 측정하는지 평가하기 위해 42개의 LLM을 분석했어요. 문항 차별성은 학생의 역량에 따라 문항을 구분하는 능력으로, 기존 LLM 연구에서 간과된 부분입니다.
LLM이 문항 차별성을 직접 예측하는 방식과 응답 기반 CTT 교정 방식을 모두 사용한 결과, 직접 예측은 상관관계 0.152에 그쳤고, 응답 기반 방식도 0.241로 제한적인 신호만 확인됐어요.
이번 연구는 LLM 기반 심리 측정 평가에서 문항 차별성 측정의 과제를 제시하며, 현재 LLM은 문항 차별성과 관련된 정보를 담고 있지만, 학생의 역량 차이를 정확하게 구분하지는 못하는 것으로 나타났어요.