연구진은 트랜스포머 모델이 가중치 업데이트 없이 프롬프트 내 예시를 통해 학습하는 인컨텍스트 학습(ICL)을 연구했어요. 어텐션 메커니즘을 활용해 다항식이나 스플라인과 같은 비선형 특징을 구현하고, 이를 통해 비선형 회귀에서의 ICL을 분석하는 프레임워크를 제시했어요. 연구 결과는 합성 회귀 작업에서 수치적으로 검증되었으며, 컨텍스트 길이와 학습 데이터 크기에 따른 일반화 오차 경계를 제시했어요.