연구진이 이미지와 텍스트의 조합에서 발생하는 잠재적 해악을 추론하는 새로운 데이터셋 MuPHI를 공개했어요. 기존 VLMs는 표면적인 특징에만 의존하는 반면, MuPHI는 맥락 의존적인 미묘한 해악을 감지하는 능력을 평가해요.
MuPHI는 다양한 해악 범주를 포괄하며, VLM의 추론 과정을 평가할 수 있는 해악 근거 해설도 포함돼 있어요.
MuPHIRM이라는 새로운 학습 프레임워크를 통해 VLM의 해악 감지 및 추론 능력을 향상시켰으며, 기존 방식보다 뛰어난 성능을 보여줬어요.