본 논문은 연합 학습의 기울기 유출을 완화하는 중요한 요소인 안전한 집계의 통신 비용 문제를 해결하기 위해 Top-K 희소화 기법을 활용합니다. 제안된 방식은 사용자 이탈 및 악의적인 사용자 공격에도 견고하며, 통신 비용을 크게 줄입니다. 실험 결과, 전체 기울기 집계와 유사한 정확도를 유지하면서 1%의 기울기 희소화만으로도 성능을 확보했습니다.
기존 Top-K 희소화 방식의 예측 불가능한 사용자별 최댓값 선택 문제를 해결하기 위해, 각 사용자가 선택한 최댓값을 효율적으로 집계하는 방식이 필요합니다. 본 논문은 이러한 문제를 해결하기 위해, 차원별 오버헤드를 오프라인 단계로 분산시키고, 랜덤 마스크와 순열을 사용하여 개인 정보를 보호하는 통신 효율적인 안전한 희소 집계 방식을 제안합니다.
제안된 방식은 분산 연합 학습 환경에서 제한된 대역폭과 불안정성에도 효과적으로 작동하며, 실제 실험을 통해 전체 기울기 집계와 비교하여 우수한 성능을 확인했습니다.