연구진이 실시간 영상 분석을 통한 안전 경고 성능을 평가하는 PaSBench-Video 벤치마크를 공개했어요. 이 벤치마크는 운전, 의료, 일상생활, 산업 현장 등 4개 분야의 740개 영상으로 구성돼요. 기존 벤치마크의 한계를 극복하기 위해 프레임 단위 위험 발생 시점과 사고 경계를 함께 표기했어요.
13개 MLLM을 테스트한 결과, 가장 엄격한 지표에서 20%를 넘는 모델은 없었고, 위험 감지율과 안전 영상에서의 오경고율이 0.64의 상관관계를 보였어요. 모델들은 일상생활에서는 비교적 좋은 성능을 보였지만, 운전 분야에서는 위험 상황과 정상 상황을 구별하는 데 어려움을 겪었어요.
연구 결과, 현재 모델들은 위험에 대한 추론보다는 장면 수준의 활동 단서에 의존하는 것으로 나타났으며, 실제 안전 경고 시스템 개발을 위해서는 더욱 발전된 모델이 필요해요.