연구진은 평균장 트랜스포머 모델을 활용해 위치 인코딩과 같은 보조 변수가 자기 주의 메커니즘의 모드 붕괴를 막는 원리를 이론적으로 분석했어요. 분석 결과, 보조 변수는 에너지 최대화 분포가 단일점으로 붕괴하는 것을 막고, 보조 변수 분포의 푸쉬포워드를 특징으로 하는 분포를 만들어내요. 위치 인코딩과 프롬프트 삽입은 극한 상태에서 표현의 보편성을 가지며, 이론적 결과는 수학적 실험을 통해 검증됐어요.