연구 프로젝트에서 연합 학습 알고리즘(FedAvg, FedProx, FedNova)이 중앙 집중식 기준선보다 높은 정확도를 보였지만, 특정 공격 유형(Web Attacks)을 전혀 탐지하지 못하는 문제가 발견됐어요.
Web Attacks 데이터가 적은 소수 데이터 silo의 정확도가 49%에 불과하며, 공격을 전혀 탐지하지 못하는 현상이 발생했고, 이는 전반적인 정확도에 가려졌어요.
중앙 집중식 모델의 성능도 무작위 시드에 따라 소수 데이터 silo에서 57%에서 99.5%까지 크게 변동하는 불안정성을 보였어요.
FedNova는 업데이트를 로컬 단계 수로 정규화하여 모든 silo에서 90%대의 일관된 성능을 유지하며, 연합 학습에서 전반적인 정확도보다 클라이언트별 성능을 확인해야 함을 시사했어요.