연구진은 다양한 트랜스포머 구현을 통합하는 범주론적 프레임워크인 칸 확장 트랜스포머(KET)를 제안했어요.
KET는 트랜스포머 레이어를 가중 구조 확장 연산자로 보고, 어텐션은 단순 이웃, 지오메트릭 트랜스포머는 희소 에지 제한, KET는 고차원 심플렉스 케이스로 설명할 수 있어요.
예측-분리 캐리어에 KET를 적용하면 미래 토큰을 유출하지 않고 비인과 구조를 드러내는 자기 조건부 학습 메커니즘이 돼요. Penn Treebank, WikiText-2, WikiText-103에서 12가지 트랜스포머 구현을 실험적으로 검증했어요.