연구진은 안전 분류기가 학습 데이터에 민감한 정보(자해, 정신 건강 관련)를 포함하고 있어 개인 정보 보호 문제가 발생할 수 있다고 지적했어요. 경계 타겟팅 전략을 통해 분류기가 가장 확신하지 못하는 예제를 식별하면 학습 데이터 멤버십을 추론할 수 있다는 가설을 제시했어요. 실험 결과, 안전 분류기가 사용자의 고통을 나타내는 대화를 19% 정확도로 복구했으며, 이는 기존 MIA 방법보다 3.5배 높은 정확도예요.
연구진은 경계 예제를 분석하여 콘텐츠 기반 필터링이 효과적이지 않으며, 노이즈 전략으로 취약성을 완화할 수 있음을 확인했어요. 이는 안전 분류기의 개인 정보 보호 문제를 해결하기 위한 중요한 통찰력을 제공해요.
본 연구는 안전 분류기의 개인 정보 보호 취약점을 보여주고, 이를 완화하기 위한 새로운 접근 방식을 제시하여 생성 AI 시스템의 안전성과 개인 정보 보호 사이의 균형을 맞추는 데 기여할 것으로 기대돼요.