AI 벤치마크는 모델 능력 추정, 시스템 순위 결정, 유용한 예시 선택, 벤치마크 품질 진단 등을 위해 아이템 반응 이론(IRT)과 같은 아이템 수준 통계 모델을 활용하고 있어요.
하지만 AI 벤치마크 데이터는 인간 테스트 데이터 환경과 차이가 있는데, 벤치마크는 평가 모델 수가 적고 아이템 수가 훨씬 많으며, 능력 분포가 왜곡되거나 클러스터링될 수 있어요.
연구 결과, 기존 추정 방식은 대규모 벤치마크 환경에서 실행 가능하지 않거나, 작은 모델 집합이나 비정상 분포에서 아이템 수준 추론과 순위 추론의 신뢰성을 떨어뜨릴 수 있어요.
본 연구는 잠재적 특성 모델이 AI 벤치마크 주장을 뒷받침하거나 왜곡할 수 있는 시점을 파악하고, 신뢰할 수 있는 사용을 위한 표본 크기와 진단 기준을 제시해요.