연구진은 시계열 예측에서 널리 사용되는 self-attention 메커니즘의 높은 계산 비용 문제를 해결하기 위해 Self-Gating Attention (SGA)을 제안했어요.
SGA는 공유된 학습 가능한 행렬과 입력 의존적 잔차 구성 요소를 사용하여 attention 점수를 표현하여 표준 attention에 비해 선형적인 시간 및 메모리 복잡도를 달성했어요.
다섯 가지 예측 모델에 SGA를 통합하여 다양한 시계열 데이터셋에서 성능을 평가한 결과, 기존 self-attention 메커니즘과 경쟁력 있는 예측 성능을 유지하면서 추론 효율성을 향상시키는 것을 확인했어요.