연구진은 예측 모델의 정확도 외에 논리적 일관성을 평가하는 새로운 지표인 Rule Violation Score (RVS)를 제시했어요.
RVS는 모델이 미리 정의된 논리 규칙을 얼마나 잘 준수하는지 측정하며, 예측 정확도와는 독립적으로 평가돼요.
RVS는 엄격한 규칙과 통계적 규칙을 다르게 취급하며, SQL 쿼리를 활용해 Horn 규칙에 대한 자동 생성 평가가 가능해요.
세 가지 벤치마크 테스트 결과, 예측 정확도가 비슷한 모델이라도 논리적 준수 수준에 큰 차이가 있음을 보여줬어요.