연구진은 대장 용종 분할 모델 평가의 구조적 문제점 3가지를 지적했어요. 27개 논문 분석 결과, 25개는 Hausdorff 거리를 누락했고, 5개는 호환되지 않는 훈련/테스트 분할 프로토콜을 사용했으며, 26개는 통계적 유의성 검증 없이 성능을 주장했어요.
Metrics Reloaded 프레임워크 발표 후에도 이러한 문제점이 반복되는 것을 확인했어요.
연구진은 5개 모델을 재평가한 결과, 보고된 지표가 경계 및 재현율 실패를 숨기고, 지표에 따라 ‘최고’ 모델이 바뀌며, 무작위 분할에서 순위가 뒤바뀜을 발견했어요.