LIFT 및 PLACE: 경량화된 확산 모델을 위한 간단하고 안정적인 지식 증류 프레임워크

연구진은 확산 모델 지식 증류 시, 교사 모델의 복잡한 디노이징 과정이 학생 모델의 모방을 어렵게 한다는 점을 발견했어요. 이를 해결하기 위해 LIFT(LInear FiTting 기반 증류)와 PLACE(Piecewise Local Adaptive Coefficient Estimation)를 활용한 프레임워크를 제안했어요. LIFT와 PLACE는 1.3M 파라미터의 학생 모델로도 안정적인 학습과 15.73의 FID 달성을 가능하게 했어요.