연구진이 실시간 입술 동기화를 위해 새로운 오토리거시브 확산 모델 'Lip Forcing'을 개발했어요. 기존 모델보다 훨씬 빠른 속도로 작동하며, 14B 모델을 1.3B와 14B 크기의 학생 모델로 증류했어요. 1.3B 학생 모델은 31 FPS로 실시간 스트리밍이 가능하며, 기존 모델보다 17.6배 빠른 속도를 보여줘요.
Lip Forcing은 입술 동기화 성능과 충실도 간의 균형을 고려하여 설계되었으며, 이를 위해 Sync-Window DMD, 2단계 추론 스케줄, SyncNet 기반 보상 등의 요소를 활용했어요. 이 방법은 기존 확산 모델의 한계를 극복하고 실시간 성능을 확보하는 데 기여해요.
14B 학생 모델은 기존 모델보다 39.8배 빠른 속도로 작동하며, 첫 프레임 생성 시간은 0.1초 미만으로 매우 빠르다는 것을 보여줘요. 이는 기존 확산 기반 모델보다 훨씬 빠른 속도이며, 실시간 입술 동기화 분야에 새로운 가능성을 제시해요.