본 연구는 소프트맥스 어텐션 트랜스포머가 선형 분류 데이터에서 인컨텍스트 로지스틱 회귀를 어떻게 수행하는지 조사합니다. 각 레이어는 인컨텍스트 손실에 대해 정규화 경사 하강법의 한 단계를 정확히 수행하는 다층 트랜스포머 클래스를 구성했습니다. 연구 결과는 소프트맥스 트랜스포머가 효과적으로 인컨텍스트 학습자 역할을 할 수 있음을 보여줌으로써 ICL 메커니즘에 대한 이론적 이해를 높입니다.