연구진은 자연어 추론에서 인간 레이블 변동을 측정하여 형식적 의미 구조가 얼마나 설명하는지 분석했어요. ChaosNLI 데이터셋의 3,113개 항목을 사용해 규칙 기반 연산자와 단조성 태거를 활용했어요. 분석 결과, 순수하게 상향 단조적이지 않은 가설은 신뢰성 있게 더 높은 레이블 엔트로피를 보였어요.
형식적 프로필은 엔트로피 분산의 3.3~3.6%만 설명하며, 항목 간 불일치 항목을 식별하는 데 사용될 만큼 충분히 강력하지 않아요. 연구는 형식적 의미 구조가 인간의 의견 불일치를 약간 변화시키지만, 그들이 무엇에 대해 의견 불일치를 갖는 것을 감지하지 못한다는 것을 보여줬어요.
ChaosNLI-S/M 데이터셋은 원래 합의가 낮은 항목으로 구성되었으며, 모든 주장은 해당 범위를 기준으로 합니다. 연구는 버전 관리된 연구 로그에 사전 등록되었으며, 수정된 해석 규칙을 포함하여 감사 추적을 공개했어요.