연구진은 선형 자기 주의(linear self-attention)를 갖춘 트랜스포머를 구축하여 간단한 회귀 작업에서 최소 제곱 추정치를 인컨텍스트 학습했어요. 기존 연구와 달리 경사 하강법 기반 근사해 대신 레이어 정규화를 사용하여 닫힌 형식(분석적) 해를 얻는 방식이에요. L1 정규화로 학습된 트랜스포머에서 최소 제곱 추정치를 목표 출력으로 할 때, 이 구현 방식이 주로 사용된다는 실험 결과를 확인했어요.
기존 연구에서는 트랜스포머가 선형 및 비선형 회귀 문제에 대한 솔버를 구현하는 것으로 나타났지만, 이러한 구현이 훈련을 통해 실제로 획득되었는지 여부는 불분명했어요. 본 연구는 인컨텍스트 학습을 통해 트랜스포머가 훈련 과정 없이도 닫힌 형식의 해를 얻을 수 있음을 보여주는 것을 목표로 했어요.
본 연구는 트랜스포머의 인컨텍스트 학습 능력에 대한 새로운 시각을 제시하며, 훈련 과정 없이도 특정 문제를 해결할 수 있는 잠재력을 시사해요.