PermaVid는 편집 후에도 영상 생성의 일관성을 유지하는 새로운 프레임워크입니다. 이 프레임워크는 공간적 맥락을 의미론적 외관과 기하 구조로 분리하는 다중 모드 컨텍스트 메모리를 사용합니다. 편집에 따른 메모리 업데이트 및 검색 전략을 통해 메모리 진화가 후속 관찰과 일치하도록 합니다.
RGB 컨텍스트 메모리는 외관 정보를 캡처하고 기하 구조를 암묵적으로 인코딩하며, 깊이 컨텍스트 메모리는 의미론과 분리된 기하 구조만 보존합니다. 이 설계에 기반하여, 혼합 모달 메모리 컨텍스트에서 참조 조건을 기반으로 다중 모드 특징 융합을 수행하는 메모리 기반 영상 생성 모델을 개발했습니다.
실험 결과, PermaVid는 편집 후에도 강력한 장기적인 의미론적 및 구조적 일관성을 유지하며, 기존 기술보다 뛰어난 성능을 보였습니다.