RGFVR은 손상된 얼굴 비디오를 복원하는 새로운 프레임워크입니다. 참조 이미지를 활용하여 시각적 선명도, 시간적 일관성, 피사체 신원을 동시에 복원합니다. Flow Matching 기반 텍스트-비디오 생성 모델에 피사체 정보를 반영하여 기존 방식보다 성능이 향상됐습니다.
RGFVR은 다운샘플링, 블러, 노이즈, 압축 아티팩트 등 다양한 비디오 손상 환경에서 뛰어난 성능을 보입니다. 특히, 피사체 신원 보존에 효과적입니다. 코드는 GitHub에서 공개됐습니다.
연구팀은 이중 단계 학습 전략을 통해 복원 과정에서 피사체 정보에 대한 가이드라인을 강화했습니다.