ELSAA는 트랜스포머의 입력 길이 제한을 극복하기 위해 저랭크 및 희소 어텐션을 결합한 새로운 방법입니다. 기존 방식과 달리 투영 행렬을 분해하지 않고, 어텐션 점수 연산자 자체를 근사합니다.
ELSAA는 고유사도 상호작용을 포착하는 희소 브랜치와 전역 상호작용을 요약하는 저랭크 브랜치를 활용하며, 각 브랜치의 중요도를 고려한 융합을 통해 성능을 높입니다.
이 방식은 전체 이차 점수 행렬을 물질화하지 않고도 긴 컨텍스트 학습을 가능하게 하며, 날카로운 토큰 간 상호작용과 폭넓은 컨텍스트 혼합을 유지합니다.