SHARD는 민감한 프롬프트에 대한 LLM의 어려움을 해결하기 위해 자기 재구성 증류 방법을 도입했어요. SHARD는 먼저 철학적 지침을 사용하여 민감한 프롬프트를 무해한 의도로 재작성하고, 원래 응답을 안전하고 더 유용한 응답으로 재구성한 후, 자기 재구성된 응답으로 모델을 미세 조정해요. DNA 및 LINGUASAFE 영어 하위 집합에서 SHARD는 대부분의 모델 패밀리의 유용성을 향상시키면서 안전성을 유지해요.
SHARD는 더 큰 교사 모델로부터 증류하는 것과 경쟁력을 유지하며, 모델이 자체적으로 유도된 안전하고 유용한 행동을 내재화할 수 있음을 시사해요. 본 논문에는 불쾌하거나 해로운 콘텐츠가 포함되어 있을 수 있으니 주의하세요.
SHARD는 기존 모델의 안전성과 유용성을 모두 개선하는 효과적인 방법으로, LLM의 안전한 사용을 위한 새로운 가능성을 제시해요.