연구진이 선택적 상태 공간 모델(예: Mamba)의 상태 사용을 정확하게 측정하는 방법을 제시했어요. 개발한 도구는 각 레이어, 채널, 윈도우별 Gram 텐서를 활용해 특정 모드를 제거했을 때의 출력 오류를 계산해요. 실험 결과, 훈련된 모델은 입력에 따라 상태 공간을 재할당하며, 특정 입력에서 오라클이 고정된 모드 집합의 출력 오류를 약 절반으로 줄이는 것을 확인했어요.
입력 스케줄링 모드 가지치기는 130M에서 7B Falcon-Mamba까지 다양한 규모에서 기존 방법보다 성능이 뛰어나고, 절반의 상태 예산으로도 미가지치 모델과 비슷한 성능을 보여줘서 실현 가능한 여유 공간이 있음을 입증했어요. 이 도구는 Mamba-1 패밀리에서 상대 오차 $2.3 imes10^{-7}$ 에 정확하며, 4,464개 구성에서 레이어의 배포된 가지치기 오류를 중앙값 상대 편차 $5 imes10^{-7}$로 예측해요.
연구 결과는 훈련된 모델이 입력에 따라 어떤 모드가 신호를 전달하는지 이동하며, 가장 영향을 받는 레이어에서 입력에 따른 오라클이 고정된 모드 집합의 출력 오류를 약 절반으로 줄이는 것을 보여줘요.