연구자들이 차등 개인 정보 보호 연합 학습(DP-FL)의 성능을 향상시키는 새로운 방법 DP-FedSOFIM을 발표했어요. 기존 방식의 한계를 극복하고 서버에서 곡률 추정을 수행하여 개인 정보 보호 비용 없이 성능을 개선했어요.
DP-FedSOFIM은 기존 DP-FedGD와 동일한 개인 정보 보호 수준(eps, delta)을 유지하면서도 CIFAR-10/ResNet 데이터셋에서 DP-FedGD보다 최대 20.3%의 성능 향상을 보였어요. DP-FedAdam, DP-FedYogi와 비교하면 초기 단계에서 큰 차이를 보였어요.
서버 측 곡률 추정 방식 덕분에 DP-FedSOFIM은 O(d)의 클라이언트 메모리만 사용하며, 기존 방식보다 훨씬 낮은 오버헤드로 연합 학습을 수행할 수 있어요. GitHub에서 관련 코드를 확인할 수 있어요.