연구진은 LLM의 추론 능력을 평가할 때 데이터 오염 문제가 심각하며, 악의적인 모델 배포자는 회피 전략을 사용하여 오염을 숨기고 리더보드 순위를 조작한다고 밝혔습니다.
새로운 검출 방법인 Zero-CoT Probe (ZCP)는 모델의 생성된 추론 단계를 의도적으로 절단하여 숨겨진 단축 경로 매핑을 드러내는 방식으로 작동합니다.
ZCP는 원래 벤치마크와 이성질적으로 변환된 참조 데이터 세트 간의 zero-CoT 성능을 비교하여 오염 가능성과 심각도를 정량화하는 Contamination Confidence 지표를 제시합니다.