본 연구는 추론 시 토큰의 변화를 평균장 연속 방정식으로 기술하는 인코더 전용 트랜스포머를 연구합니다.
토큰 분포가 키, 쿼리, 값 행렬에 의해 유도된 투영 맵 하에서 초기 분포로 빠르게 집중되고, 적당한 시간 동안 안정적인 상태를 유지하는 것을 증명했습니다.
연구 결과는 온도 파라미터 β⁻¹가 0에 가까워지고 추론 시간 t가 0보다 커질 때, 바트 거리(Wasserstein distance)가 √log(β+1)/β * exp(Ct) + exp(-ct)로 스케일링됨을 보여줍니다.