연구진이 텍스트 기반 이상 감지 벤치마크(TGAD)를 새롭게 선보였습니다. 기존 벤치마크는 언어 조건을 고정시켜 언어가 의사 결정에 영향을 주는지 확인하기 어려웠습니다. TGAD는 언어의 기능적 역할을 점진적으로 증가시키는 세 가지 시나리오로 구성되어 있습니다. 실험 결과, 현재 모델들은 언어 인터페이스를 피상적으로만 활용하며, 언어의 내용이 바뀌어도 객체 명사가 제거되면 성능이 크게 저하되는 것으로 나타났습니다.
MVTec AD 데이터셋에 대한 구성 요소 태그 확장 실험에서, 모델은 지시된 부품 외의 결함이 정상으로 인정될 때 의사 결정을 제한하지 못했습니다. 조립 패널 데이터셋(APD)에서는 이미지 레벨의 판별력이 MVTec 레벨 이하로 떨어지는 현상이 관찰되었으며, 일부 경우 무작위 추측보다 낮은 성능을 보였습니다.
연구 결과, 현재 다중 모드 이상 감지 시스템의 텍스트 기반 기능은 과대평가되었으며, 산업 현장 배포를 위해서는 언어 기반 제어가 가능한 모델을 위한 새로운 벤치마크가 필요합니다.