연구진은 분산 학습 및 분석을 위한 타입화된 텐서 언어를 새롭게 제안했습니다. 이 언어는 클라이언트 간에 분할된 레코드 축을 추적하는 분산 텐서와 전역적으로 사용 가능한 공유 텐서를 구분합니다. 핵심 결과는 공유 상태 인수화 이론으로, 클라이언트 로컬 텐서 표현식을 기반으로 계산되며 클라이언트 간에 병합됩니다.
타입화된 반복 프로그램의 경우, 교차 라운드 상태가 공유되면 타입화된 1라운드 프로그램으로 표현될 수 있으며, 인코더와 디코더가 언어에서 표현 가능합니다.
레코드 손실 및 레코드 손실 기울기를 클라이언트 로컬 텐서 표현식으로 표현하면, 전역 기울기는 연합 기울기 텐서의 레코드 축 합으로 표현됩니다.
이 프레임워크는 통신이 고정 차원의 공유 상태를 통과하는 광범위한 분산 학습 계산을 특성화합니다.