연구진은 적대적 강건성 모델의 정확도 손실을 정량화하는 VanillaBench를 소개했어요. RobustBench에 등록된 186개 모델을 분석한 결과, 최적의 일반 모델 대비 평균 7.7~29.5%p 정확도가 감소했어요. 동일 아키텍처 모델 비교 시에도 3.5~17.5%p의 성능 격차가 발생했어요. 연구진은 향후 강건성 평가 시 일반 모델 기준 정확도 격차를 포함해야 한다고 주장해요.
VanillaBench는 기존 연구에서 간과되었던 적대적 강건성 모델의 정확도 손실을 명확히 보여줘요. 특히, 아키텍처가 일치하는 모델을 비교했을 때도 상당한 성능 격차가 관찰되었으며, 이는 적대적 강건성 훈련의 비용을 시사해요. 연구 결과는 실제 환경에서 모델을 배포할 때 중요한 고려 사항이며, 의사 결정에 필요한 정보를 제공해요.
VanillaBench는 RobustBench에 등록된 모델들을 대상으로, 발표 시점의 최적 일반 모델 및 아키텍처 일치 기준 모델과의 정확도 차이를 비교 분석했어요. 결과적으로, 적대적 강건성 확보 과정에서 상당한 정확도 손실이 발생하는 것을 확인했으며, 이는 기존 연구에서 충분히 다루어지지 않았던 부분이에요.