연구진은 데이터 이질성 환경에서 연합 프롬프트 튜닝(FPT)의 성능을 향상시키는 FedSEPT라는 새로운 프라이버시 보호 방법을 제안했어요.
FedSEPT는 서브스페이스 분해 전문가 모델링(SEM)을 사용하여 여러 프롬프트 전문가를 공유 저차원 요소, 공개 기반, 개인 잔차로 파라미터화하여 통신 및 DP 교란을 소형 요소 공간에 제한하고 서버 집계가 가능하도록 합니다.
11개의 이질적인 벤치마크에서 실험 결과, 동일한 프라이버시 제약 조건 하에서 FedSEPT는 강력한 기존 방법보다 지역적 적응과 글로벌 일반화 사이의 균형을 더 잘 맞추는 것으로 나타났어요.