연구진이 비디오 확산 모델(VDM)의 인과 관계 이해도를 평가하는 새로운 벤치마크 'YoCausal'을 발표했어요. YoCausal은 기존 벤치마크의 한계를 극복하기 위해 실제 비디오를 시간 역전시켜 자연스러운 반사실 샘플을 활용해요. 두 가지 지표(RSI, CCI)를 통해 VDM이 시간의 화살을 인지하는지, 그리고 진정한 인과 관계를 이해하는지 평가할 수 있어요.
13개의 최신 VDM을 평가한 결과, 시간의 화살을 인지하는 것과 인과 관계를 이해하는 것은 다르다는 점이 확인됐어요. 인간 수준의 인과 관계 인지 능력에 비해 여전히 큰 격차가 존재해요.
YoCausal은 실제 비디오를 활용한 시간 역전 방식으로, 비용 없이 무한히 확장 가능한 평가 프로토콜을 제공하며, VDM의 발전 방향을 제시해요.