연구진은 자원 제약 환경에서 대규모 모델 분산 학습의 한계를 극복하기 위해 AutoEncoder-Parallel Split Learning (AE-PSL) 프레임워크를 제안했어요. AE-PSL은 AutoEncoder를 활용해 중간 활성화 및 기울기를 압축하여 통신 효율성을 높여요. 사전 학습 모델과의 호환성을 위해 두 단계로 특징 분포를 정렬하는 새로운 방식을 도입했어요.
기존 Parallel Split Learning 방식은 클라이언트와 서버 간의 빈번한 데이터 교환으로 통신 부담이 컸는데, AE-PSL은 AutoEncoder를 통해 이 문제를 해결해요. AutoEncoder는 가벼운 구조로 중간 데이터를 압축하여 통신량을 줄여 분산 학습 성능을 향상시킵니다.
AE-PSL은 사전 학습된 모델의 특징 분포와 클라이언트별 특징 분포를 고려하여 AutoEncoder를 조정하는 방식으로, 기존 방식의 성능 저하 문제를 해결하고 분산 학습 효율성을 높입니다.