오픈 가중치 언어 모델의 품질이 최근 몇 년간 크게 향상되었어요. 가중치를 공유하면 다양한 하드웨어 및 소프트웨어 플랫폼에서 모델을 사용할 수 있어 모델 채택이 용이해집니다. 또한 사용자가 점검 지점으로 사용하고, 필요에 따라 미세 조정하고, 잠재적으로 재배포할 수 있도록 연구 및 테스트를 지원해요.
연구진은 DLR-Lock이라는 새로운 방법을 제안했는데, 이는 각 사전 훈련된 MLP를 비교 가능한 파라미터 수의 깊은 로우 랭크 잔차 네트워크(DLR-Net)로 대체하여 역전파 시 깊이에 따라 선형적으로 증가하는 활성화 메모리를 강제하는 방식이에요.
실험 결과, DLR-Lock은 원래 모델의 기능을 유지하면서 방어 전략을 완전히 알고 있는 적대적 공격자로부터 성공적으로 방어할 수 있다는 것을 입증했어요.