Tencent이 HiLS-Attention 7B 모델을 공개했어요. 이 모델은 chunk-wise sparse attention 방식으로 긴 문맥을 효율적으로 처리하도록 설계됐어요.
HiLS-Attention은 chunk mass를 추정하고 attention을 chunk 간 softmax와 intra-chunk softmax로 분해하여 end-to-end 학습이 가능해요.
70억 파라미터 규모로 OLMo3-7B 아키텍처를 기반으로 하며, 관련 논문과 코드는 arXiv 및 GitHub에서 확인할 수 있어요.
모델은 안전 정렬 및 조정이 이루어지지 않았으므로, 사용자는 콘텐츠의 적합성을 평가해야 하며 잠재적 편향과 부정확성에 주의해야 해요.