연구진은 Self Forcing 방식의 한계를 극복하기 위해 Self Gradient Forcing(SGF)이라는 새로운 훈련 전략을 제안했어요. SGF는 과거 생성된 latent를 더 유용한 키와 값으로 수정하는 감독 신호를 복원하는 방식이에요. 두 단계 훈련을 통해 SGF는 기존 Self Forcing보다 장비디오 외삽 성능을 향상시켰어요.
SGF는 첫 번째 단계에서 Self Forcing과 유사하게 autoregressive rollout을 수행하고, 두 번째 단계에서는 미래 비디오 latent를 사용하여 과거 latent를 재구성해요. 이를 통해 모델은 더 효과적인 인과적 메모리를 인코딩하도록 훈련돼요. 실험 결과, SGF는 5초 분량의 훈련 데이터만으로도 몇 분짜리 비디오를 외삽할 수 있는 강력한 성능을 보였어요.
연구진은 SGF의 코드와 모델을 공개하여 autoregressive 비디오 생성 연구 발전에 기여할 예정이에요. 특히 SGF는 피사체 동일성, 배경/레이아웃 일관성, 시간적 안정성 측면에서 뛰어난 성능을 보여줬어요.