연구진은 하이브리드 어텐션 아키텍처에서 최적의 FA/SWA 할당을 학습하는 ConSA 프레임워크를 제안했어요. ConSA는 L0 정규화를 사용하여 FA와 SWA를 선택하는 이진 마스크를 학습하며, 사용자가 지정한 희소성 목표를 강화하는 보조 라그랑주 제약 조건을 사용해요.
0.6B 및 1.7B 규모의 LLM에서 ConSA를 평가한 결과, 학습된 할당은 규칙 기반 기준을 꾸준히 능가했으며, KV-헤드 단위 할당이 레이어 단위 할당보다 더 큰 이점을 제공했어요.
학습된 패턴은 하위 레이어에 SWA를 집중시키고 연속적인 중간 레이어 블록에 FA를 집중시키는 경향을 보이며, 모델 규모, 희소성 수준 및 할당 세분성 전반에 걸쳐 일관성을 유지했어요.