연구진이 실제 산업 현장 CCTV 환경에서 비전-언어 모델 성능을 평가하는 SteelBench 벤치마크를 공개했어요. SteelBench는 작업자 활동 인식, 안전 규칙 추론, 어노테이션 출처 추적을 함께 평가하는 진단 벤치마크입니다. 1,345개의 클립으로 구성되었으며, 모델 보조 어노테이션이 실제 성능을 왜곡할 수 있다는 점을 고려해 출처 감사를 위한 프로토콜도 포함하고 있어요.
SteelBench를 통해 9개의 VLM 모델을 평가한 결과, 최상위 모델의 정확도는 42.6%에 그쳤으며, 작업자 활동 인식, 강건성, 교정, 안전 추론 등에서 성능 편차가 컸어요. 모델이 올바른 활동을 예측하더라도 안전 판단은 37~58%에서 오류를 발생시켰으며, 5가지 진단 검사 중 2개 이상을 통과하는 모델은 없었습니다.
SteelBench 데이터셋은 Hugging Face에서 공개되었으며, 연구 결과는 모델 개발 및 평가 과정에서 실제 환경 조건을 고려하는 것이 중요하다는 점을 시사합니다.