Tencent이 HiLS-Attention-7B 모델을 공개했어요. 이 모델은 OLMo3-7B를 기반으로 50B 토큰으로 추가 학습됐어요. HiLS-Attention은 기존 방식보다 효율적인 초장문 맥락 처리를 위해 개발된 chunk-wise sparse attention 메커니즘이에요. 초장문 맥락 추론 능력과 빠른 추론 속도를 제공하며, 짧은 맥락 작업에서도 기존 성능을 유지해요.