연구진이 연합 학습(FL)과 지식 증류(KD)를 결합한 3D 포인트 클라우드 분류 벤치마크를 공개했어요. 13개 FL 알고리즘과 10개 KD 목표를 조합하여 총 504번의 실험을 진행했어요. ModelNet40과 임상 두개골 무합성증 데이터셋에서 성능을 평가했어요.
극심한 데이터 불균형(non-IID) 상황에서 연합 학습만으로는 성능이 크게 저하돼, ModelNet40에서 최대 76.32%, 임상 데이터에서 75.83%의 정확도를 기록했어요. 이는 중앙 집중식 학습의 92.26% 및 100%에 비해 낮은 수치예요.
지식 증류를 통해 교사 모델을 74.51% 더 작고 추론 속도가 약 두 배 빠른 학생 모델로 압축할 수 있었고, 학생 모델은 종종 교사 모델의 성능을 능가했어요.
연합 학습과 지식 증류를 결합한 파이프라인 평가 시 함정이 존재하며, 레이블이 없는 증류를 사용해야 연합 모델의 정확도를 제대로 반영할 수 있다는 점을 발견했어요.