연구진이 LLM의 개인정보 유출 위험을 측정하는 새로운 방법론을 제시했어요. 개인정보가 담긴 학습 데이터에 합성된 '카나리' 예제를 섞어 멤버십 추론 공격을 통해 유출 가능성을 평가하는 방식이에요. 합성 카나리 예제는 고온 샘플링으로 생성하며, 실제 데이터의 개인정보를 해치지 않고 검사 가능하며 반복 사용이 가능해요.
개인정보가 담긴 데이터를 활용해 생성된 합성 데이터의 개인정보 유출 위험을 측정하는 감사 방법도 소개했어요. 보조 모델을 활용해 합성 데이터를 감사하고, 원래 카나리 예제를 통해 유출 정도를 추정하는 방식이에요.