연구진이 비디오 LLM의 시간적 이해 능력을 평가하는 'DistractionBench'를 개발했어요. 광고 삽입 등 의도적인 방해 요소에도 불구하고, 모델들이 광고 속 내용과 본래 영상의 내용을 섞어 잘못된 상호작용을 생성하는 현상이 발견됐어요. 이는 모델이 시간 순서대로 영상을 처리하지 않고 개별 이벤트의 집합으로 인식하는 'bag-of-events(BoE)' 현상 때문으로 분석돼요.
11개의 인기 비디오 LLM을 평가한 결과, 모든 모델에서 상당한 BoE 현상이 나타났으며, 이는 모델이 시간적 맥락을 제대로 이해하지 못한다는 것을 시사해요. 연구진은 이 문제를 해결하기 위해 시간적 연결성이 강화된 모델 개발을 촉구했어요.