연구진은 Qwen2.5-8B 기반의 채널 희소 LLM을 구축하는 지속적 학습 방법을 연구했어요. 32K 컨텍스트 환경에서 예측 기반의 SwiGLU FFN을 도입하여 4배의 희소성을 확보했어요. RULER-CWE에서 발생하는 특정 오류를 수정하는 단일 레이어 복구 알고리즘을 제안하여 성능을 개선했어요.