연구진은 딥신경망이 분산 환경(OOD)에서 관련 표현을 학습하는 데 실패하는 이유를 분석했습니다. 이는 특징 학습을 데이터 생성 과정(DGP)의 식별 가능성으로부터 분리하는 것을 요구합니다. OOD 외삽은 단일 훈련 창에서 식별 불가능하며, ID 성능에 거의 영향을 미치지 않으면서 OOD 일반화를 지배하는 구조적 약속이 필요합니다.
모델 아키텍처, 사전 훈련, 증강, 입력 형식 또는 도메인 지식이 누락된 약속을 암시적으로 주입하면 모델이 성공하고, 그렇지 않으면 실패합니다. Fourier 좌표와 같은 특징을 사용하면 주기적 외삽을 $\mathbb{S}^1$ 에서 보간으로 바꿀 수 있습니다.
연구 결과는 화학, 행성 예측, DNA 검출 등 다양한 분야에서 나타나며, Transformer, Mamba, S4D 모델의 위치 인코딩 연구에서 예측 결과를 보여줍니다.