연구진은 하이브리드 아키텍처에서 효율적인 어텐션 모듈이 모델 성능에 미치는 영향을 분석했어요. 스케일링 관점에서 효율적인 어텐션은 장문 컨텍스트 처리 능력 향상 속도에 영향을 주지만, 충분한 훈련을 거치면 성능은 수렴해요. 메커니즘 분석 결과, 장거리 정보 검색은 풀 어텐션이 담당하고 효율적인 어텐션은 최적화 경로를 형성하는 역할을 해요.
연구진은 '대규모 윈도우 게으름' 현상을 발견했는데, 이는 큰 SWA 윈도우가 풀 어텐션 레이어의 정보 검색 헤드 형성을 지연시키는 현상이에요. 이를 바탕으로 NoPE를 풀 어텐션 레이어에만 적용하면 장문 성능을 향상시키면서 단문 성능에는 거의 영향을 주지 않는다는 것을 확인했어요.