연구진이 분산 환경에서 모델 가중치 추출을 막는 Unextractable Protocol Models (UPM) 프레임워크를 개발했어요. UPM은 시간 흐름에 따라 모델 샤드를 변경하여 가중치 추출을 어렵게 만들어요. Qwen-2.5-0.5B와 Llama-3.2-1B 모델에서 성능 저하 없이 적용 가능했어요.
UPM은 30초마다 변환을 적용하여 3%의 지연 시간과 10%의 GPU 메모리 오버헤드를 발생시키지만, 학습 오버헤드는 1.6%의 시간과 1% 미만의 메모리만 사용해요.
직접 공격은 비현실적이며, 부분 파티션을 기반으로 한 미세 조정은 처음부터 학습하는 데 필요한 토큰의 60% 이상을 소모해요.
UPM은 커뮤니티 기반 분산 학습에 대한 인센티브 메커니즘을 구현하는 데 기여할 수 있어요.