연구진이 S4 및 S4D 구조 기반 모델의 연산자 수준 가지치기 기법 'S4oP'를 제안했어요. 이 기법은 추론 비용을 줄이면서 예측 성능을 유지하는 것을 목표로 합니다. S4oP는 구조적 마스크와 미세 조정을 반복하며 정확도와 추론 지연 시간을 모니터링하며, 최대 70%의 연산자를 가지치기 할 수 있어요.
벤치마크 데이터셋 실험 결과, 원본 모델의 성능을 대부분 유지하면서 추론 지연 시간을 크게 줄일 수 있었어요. 이 연구는 S4oP가 SSM의 효율성을 높이고 자원 제약 환경에 배포하는 데 효과적인 전략임을 보여줘요.
S4oP는 SSM의 구조적 연산자 가지치기를 체계적으로 조사한 최초의 연구이며, 실제 환경에서 SSM을 활용할 수 있는 가능성을 높여줘요.