LLM 미세 조정은 특정 애플리케이션에 LLM을 활용할 수 있게 하지만, 높은 계산 비용 때문에 자원이 부족한 조직에서는 어려움을 겪을 수 있어요.
분산 학습은 모델을 클라이언트와 서버로 나누어 민감한 정보를 공유하지 않고도 협업하여 안전하게 LLM을 조정할 수 있는 유망한 해결책이에요.
본 논문은 분산 학습을 위한 LLM 미세 조정에 대한 첫 번째 종합적인 조사 결과를 제시하며, 모델 수준 최적화, 시스템 수준 효율성, 개인 정보 보호의 세 가지 핵심 차원을 분석했어요.