연구진이 Preisach Attention Layer (PAL)이라는 새로운 순차 모델 아키텍처를 제안했어요. PAL은 수학적 물리학의 Preisach hysteresis 연산자를 기반으로 softmax attention 메커니즘을 binary relay 연산자로 대체해요.
PAL-Transformer는 표준 hard-attention transformer보다 얕은 깊이(O(log n))로 Turing-complete를 달성하며, 2-스택 pushdown automaton 시뮬레이션을 통해 가능해요.
PAL은 장기 에피소드 기억과 약한 위치 의존성을 가진 작업에 효율적인 아키텍처로, 표준 attention보다 O(n log n)의 총 추론 비용을 보여줘요.