연구진은 자원 제약 환경에서 효율적인 SLM 배치를 위해 체인 기반 증류(CBD)라는 새로운 패러다임을 제안했습니다. CBD는 중간 모델(앵커)의 희소한 시퀀스를 단계적으로 증류하여 지식을 전달하는 증류 체인을 구축하며, 다양한 크기의 모델을 초기화할 수 있습니다. CBD는 기존 방식 대비 효율성과 성능을 향상시키며, 138M 파라미터 SLM은 사전 훈련 없이도 특정 작업에서 뛰어난 성능을 보였습니다.