연구진은 이미지, 오디오, 비디오, 오디오-비디오 등 4가지 모달리티를 아우르는 대규모 딥페이크 탐지 벤치마크 'Omni-Fake'를 공개했어요.
Omni-Fake는 100만 개 이상의 샘플로 구성된 Omni-Fake-Set과 20만 개 이상의 샘플로 구성된 Omni-Fake-OOD 두 가지 데이터셋을 포함하며, 실제 환경에서의 강건성을 평가할 수 있도록 설계됐어요.
연구진은 Omni-Fake를 활용하여 시각 및 청각 정보를 통합하고 구조화된 의사 결정, 위치 정보, 자연어 설명을 제공하는 Omni-Fake-R1 탐지기를 제안하며 기존 모델보다 성능이 향상된 것을 확인했어요.