연구진이 상업 API, 제로샷 비전-언어 모델, 오픈소스 탐지기를 비교하는 교차 패러다임 벤치마크 VendorBench-100을 공개했어요.
VendorBench-100은 36개 모델을 100개의 적대적 이미지 코퍼스로 평가하며, 매튜스 상관계수(MCC)를 주요 순위 지표로 사용해요.
벤치마크 결과, 상업 API의 성능이 가장 높았지만, 개별 오픈소스 모델도 일부 비전 LLM과 경쟁력을 보여줬고, 순위 능력(ROC-AUC)과 운영점 품질(MCC) 간의 불일치가 확인돼요.