연구진은 트랜스포머 기반 신경 연산자의 영역 확장 문제를 연구했어요. 영역 확장에는 공간적 국소성과 이동 불변성이 필요하다고 주장합니다. 제안된 방법은 어텐션 로짓 계산에 분해 가능한 편향을 도입하여 제어 가능한 국소성을 구현하고 최적화된 어텐션 커널과 직접 호환되도록 합니다.
회전 위치 임베딩과 결합하여 트랜스포머 아키텍처를 변경하지 않고 제어 가능한 공간적 지지력을 갖는 표현력이 뛰어난 임베딩을 가능하게 합니다. 두 개의 PDE 벤치마크와 3D 산업 대기 흐름 응용 분야에서 제로샷 일반화 능력이 크게 향상되었음을 입증했습니다.
코드와 데이터셋은 GitHub에서 공개되었어요.