연구진은 현대 언어 모델의 하이브리드 아키텍처에서 효율적인 어텐션 모듈이 모델 성능에 미치는 영향을 분석했어요. 스케일링 관점에서 효율적인 어텐션은 장기 컨텍스트 능력 확보 속도에 영향을 주지만, 충분한 학습을 거치면 성능이 수렴하는 것으로 나타났어요. 효율적인 어텐션은 최적화 경로를 형성하고, 큰 SWA 윈도우는 장거리 정보 검색을 지연시키는 'Large-Window Laziness' 현상을 유발해요.
연구 결과, NoPE를 작은 윈도우 SWA 하이브리드의 전체 어텐션 레이어가 아닌 풀 어텐션 레이어에만 적용하면 장기 컨텍스트 성능을 향상시키면서도 단기 컨텍스트 성능에는 거의 영향을 주지 않아요. 이 연구는 하이브리드 아키텍처 설계에 대한 새로운 시사점을 제공하며, 효율적인 어텐션의 역할에 대한 이해를 높이는 데 기여할 것으로 기대돼요.