Eyeline Labs가 인간 신원을 보존하면서 비디오 스타일을 변경하는 ID-V2V 기술을 발표했어요. 이 기술은 장면, 조명, 스타일 변경을 적용하면서도 얼굴 특징과 연기력을 보존하는 것을 목표로 해요.
기존 기술의 한계인 짝 데이터 부족 문제를 해결하기 위해, 소스 기반 신원 보존과 편집 기반 비디오 합성을 분리하는 방식을 사용했어요. 얼굴 외형과 표정을 불변으로 유지하고 조명 변화만 허용하는 것이 핵심 아이디어예요.
ID-V2V는 조명된 얼굴 영역과 얼굴 정규화 맵을 활용하여 얼굴 특징을 제약하고, 편집된 키 프레임과 깊이 시퀀스를 통해 유연하고 일관성 있는 비디오 생성을 가능하게 해요. 이를 통해 짝 데이터 없이도 학습 데이터셋을 구축할 수 있어요.