Mushoodhanif가 물리적 일관성을 검사하는 Haga 도구를 개발했어요. CogVideoX-5b 모델에서 '공과 블록 낙하' 시뮬레이션에서 추적 대상이 공중에 멈춰있는 오류가 발생했어요. Haga는 9번의 테스트에서 100% 오류를 감지했으며, 이는 통계적으로 유의미한 결과예요. 향후 더 다양한 시나리오와 모델에 적용하여 검사기의 성능을 개선할 예정이에요.
현재 검사기는 THUDM/CogVideoX-5b-I2V 모델과 '공과 블록 낙하' 시뮬레이션에 특화되어 있어요. RGB 데이터를 CoTracker3로 변환하여 객체의 위치를 추적하고, 물리적 일관성 검사를 수행해요. 실제 물리적 현상을 담은 영상은 오류를 발생시키지 않았어요.
연구자는 검사기의 한계를 인정하며, 위치 정보만으로 추적할 경우 놓칠 수 있는 물리적 오류가 있을 수 있다고 언급했어요. 또한, 의도적인 공중에 매달린 상태와 동역학 실패를 구별하기 위해 검사기의 정의를 더 명확하게 해야 한다고 제안했어요. 더 많은 사용자의 피드백을 받아 검사기를 개선할 계획이에요.