HumanForge는 인간 중심 딥페이크 영상 벤치마크 데이터셋으로, 기존 벤치마크의 한계를 극복하기 위해 개발됐습니다. Gen2Anno라는 다중 에이전트 파이프라인을 활용해 18,000개 이상의 고품질 영상 세그먼트를 생성하고, 상세한 변조 근거를 제공합니다. HumanForge는 기존 검출기 및 LMM의 성능을 평가하는 데 어려움을 보여주며, 코드와 데이터셋은 공개될 예정입니다.
Gen2Anno는 LangGraph 기반으로 구축된 6개의 전문 에이전트를 활용해 영상 세그먼트를 생성하고, 이진 판단, 세밀한 오류 유형, 시공간적 위치 정보 등 구조화된 주석을 생성합니다. 이를 통해 기존 벤치마크에서 간과했던 인간-대상, 인간-인간 상호작용과 다중 모드 정렬 측면을 고려했습니다.
HumanForge 벤치마크는 최첨단 검출기와 LMM의 성능을 평가 결과, 제로샷 일반화 및 세밀한 추론에 상당한 어려움이 있음을 보여줍니다. 데이터셋과 코드는 공개될 예정이며, 디지털 콘텐츠 포렌식 연구에 기여할 것으로 기대됩니다.