연구진은 약한 라벨 벤치마크의 프로토콜 수준 테스트를 연구했어요. 이 테스트는 증거에 개입했을 때 벤치마크 결과가 변하는지 확인하는 방식이에요. 메타데이터만으로 예측 가능성을 확인하는 방식은 다른 질문에 답하며, 증거 개입 테스트와 메타데이터 우위 점수(MPDS)를 결합하여 약점을 보완했어요.
합성 HotpotQA 데이터셋은 메타데이터만으로는 검증할 수 없는 반례를 보여줬어요. MPDS 점수는 보통(0.643)이지만, 증거 개입 테스트(ΔEvi)는 0이었어요. 더 강력한 리더의 재현 실험은 테스트 절차에 교정 과정을 포함해야 함을 보여줬어요.
실질적인 교훈은 벤치마크 감사는 메타데이터만으로 예측하는 검사, 증거 개입, 리더 강도 교정을 함께 보고해야 한다는 점이에요.