HyperSafe는 파인튜닝된 LLM의 안전성을 복구하는 새로운 프레임워크입니다. 파인튜닝 과정에서 안전성이 손상될 수 있는 문제를 해결하기 위해 개발됐습니다. Layer-wise 활성화 지문과 하이퍼네트워크를 활용해 모델별 안전 사이드 네트워크(SSN)를 생성합니다. SSN은 유해한 프롬프트를 감지하고 거부하며, 안전한 프롬프트는 원래 모델로 처리합니다.
HyperSafe는 파인튜닝 모델의 가중치를 수정하지 않고, 기울기 업데이트 없이 작동합니다. Qwen2-7B와 LLaMA-3-8B 모델을 대상으로 안전성 벤치마크 테스트를 진행한 결과, 유해 응답률을 19~31%에서 1% 미만으로 감소시켰습니다. 또한, 다운스트림 작업 정확도는 평균 1% 이내로 유지했습니다.
GitHub에서 관련 코드를 확인할 수 있습니다. HyperSafe는 모델 배포 시 안전 데이터를 필요로 하지 않으며, 기존 모델 가중치를 수정하지 않습니다.