연구진은 가지치기 후에도 모델 크기가 줄지 않는 문제를 해결하기 위해 '최소화(minimization)'라는 정확한 구조 재작성 기법을 제안했어요. Squeeze-Release는 가지치기, 최소화, 그리고 미세 조정 단계를 반복하며 모델의 구조적 중복을 찾아 제거하는 방식이에요. CompensatedLayerNorm을 통해 LayerNorm을 갖춘 잔여 스트림에서도 채널 감소를 가능하게 했어요.
Squeeze-Release는 완전 연결 모델 네트워크에서 39배, ConvNeXt-Tiny CNN에서는 14.8배 모델 크기를 줄이는 데 성공했어요. 성능 저하 없이 모델을 압축하는 데 효과적임을 입증했어요.
연구진은 이 재작성 기법이 트랜스포머 아키텍처에도 확장 가능함을 증명했어요.