연구진은 기존의 비전-언어 모델(VLM) 평가 방식이 게임 플레이 영상의 시간적 오류(temporal glitch)를 제대로 반영하지 못한다고 지적했어요. 시간적 오류는 여러 프레임을 통해야만 발견할 수 있지만, 기존 방식은 단일 프레임으로 오류를 감지하도록 설계되어 있어요. 이를 개선하기 위해 연구진은 시간적 오류 감지를 위한 벤치마크 'TempGlitch'를 공개했는데, 현재 VLM은 이 벤치마크에서 우수한 성능을 보이지 못하고 있어요.
TempGlitch는 5가지 시간적 오류 유형을 포함하고 있으며, 균형 잡힌 샘플과 함께 오류 없는 영상도 제공하여 신뢰성 있는 이진 평가를 지원해요. 12개의 독점 및 오픈 웨이트 VLM을 다양한 프레임 샘플링 환경에서 평가한 결과, 대부분의 모델이 무작위 수준의 성능에 머물렀어요.
연구진은 TempGlitch가 시간적 추론, 견고한 게임 플레이 이해, VLM을 활용한 자동 오류 감지를 위한 테스트베드로 활용될 수 있을 것으로 기대하며, 관련 코드와 데이터는 프로젝트 웹사이트에서 확인할 수 있어요.