연구진은 LLM의 긴 문맥 처리 성능을 개선하기 위해 Dynamic Linear Attention(DLA)이라는 새로운 프레임워크를 제안했어요.
DLA는 토큰 중요도 변화에 따라 동적으로 메모리 상태를 조정하는 Information-Aware Dynamic State Merging과 Capacity-Bounded Memory Modeling을 특징으로 해요.
실험 결과, DLA는 기존 선형 어텐션 방식보다 16개 데이터셋에서 우수한 성능을 보였어요.