연구진이 기존의 단점들을 극복한 HiLS 어텐션이라는 새로운 chunk-wise 희소 어텐션 메커니즘을 제안했어요. HiLS 어텐션은 언어 모델링 손실을 통해 chunk 선택을 end-to-end 방식으로 학습하며, 기존 방식보다 정확한 chunk 선택이 가능해요. HiLS 어텐션은 훈련 맥락 길이의 64배 이상을 추론할 수 있으며, 기존 full attention 모델을 경량화된 추가 사전 훈련으로 변환할 수 있어요.