연구진이 Transformer 아키텍처가 베이지안 후처리 추론을 정확하게 구현한다는 형식적 증명을 발표했어요. 측정 이론적 커널 프레임워크 내에서 핵심 베이지안 Transformer부터 QKV/어텐션/잔차/MLP 파이프라인을 갖춘 완전한 Transformer 블록까지 추상화 계층을 정의했어요. 각 단계에서 베이지안 결합 의미가 거의 모든 곳에서 업데이트 커널이 후처리에 같음을 증명했어요.
Radon-Nikodym 미분화를 통해 블록 수준 아키텍처의 명시적 베이지안 공식을 유도하고 정규화를 증명했어요. 어텐션 메커니즘이 키에 대한 유효한 확률 분포를 유도한다는 것을 증명하여 추상 커널 프레임워크와 구체적인 어텐션 구현 사이의 연결 고리를 만들었어요.
이 프레임워크는 마르코프 커널 구조 외에 아키텍처에 대한 가정을 하지 않으며, Transformer 블록이 증명 가능하게 베이지안인 조건들을 명시했어요. 이 결합 분포 조건이 만족되면 Transformer의 순방향 계산은 엄격한 베이지안 후처리 업데이트와 형식적으로 동등해요.