이 연구는 인과적 자기 주의(causal self-attention)의 이차적 비용이 긴 컨텍스트 트랜스포머 추론을 방해하는 원인을 분석합니다. 기존 선형화 방식의 한계를 극복하기 위해, 모델의 핵심 구성 요소인 상태 업데이트 설계의 영향을 분석했습니다. 연구 결과, 소프트맥스는 키 의존적인 랭크-1 직교 투영에 의존하며, 델타 스타일 네트워크가 게이티드 누적 방식보다 성능이 우수하다는 사실을 밝혀냈습니다.
싱크 토큰, 짧은 컨볼루션, 고정 예산 캐시 라우팅과 같은 구조적 개입을 통해 모델의 근사 오류를 줄였습니다. 이 선형화 방식을 LLaMA와 Qwen 모델에 적용하여 최대 320억 파라미터 규모로 확장했으며, 기존 방식보다 MMLU 성능이 뛰어나고 복잡한 적응형 캐싱 프레임워크의 장기 컨텍스트 검색 성능과 유사한 결과를 얻었습니다.
본 연구는 트랜스포머 모델의 선형화를 위한 새로운 접근 방식을 제시하며, 모델 성능을 유지하면서도 추론 속도를 향상시킬 수 있는 가능성을 보여줍니다.