연구진은 LLM 연합 학습 시 파라미터 대신 모델 '행동'을 공유하는 새로운 방식을 제안했어요. 이 방식은 모델 크기에 상관없이 통신량을 줄이고, 다양한 구조의 모델도 지원할 수 있습니다.
클라이언트는 개인 데이터를 활용해 로컬 모델을 학습하고, 공개 프롬프트 세트에 대한 생성 결과를 공유하며, 서버는 이를 바탕으로 '행동'의 의미적 합의를 형성해 가짜 레이블을 반환합니다.
이 방법은 Llama3.1-405B 모델의 경우 통신량을 분석적으로 1006배 줄이는 효과를 보여주며, 런타임과 에너지 소비도 감소시킵니다.