본 논문은 델타넷, 게이티드 델타넷, 키미 델타 어텐션, 게이티드 델타넷-2 등 4가지 리니어 어텐션 아키텍처를 비교 분석합니다. 350M 파라미터 모델을 15B 토큰으로 학습하며, 학습 처리량, 반복 시간, 시퀀스 길이별 런타임, 다운스트림 평가를 포함한 실험을 진행했습니다. 키미 델타 어텐션이 가장 낮은 검증 손실을 달성했으며, 게이티드 델타넷은 가장 높은 정규화된 학습 처리량을 보였습니다.