연구진이 개인정보 식별 정보(PII) 탐지 벤치마크인 REDACT를 공개했어요. 이 벤치마크는 25개 언어, 51개 유형의 엔티티, 9가지 생성 축을 포함하고 있어요.
REDACT는 기존 벤치마크의 한계를 극복하기 위해 설계됐으며, 엔티티 메타데이터 필드를 통해 민감도 계층에 따른 평가가 가능해요.
5가지 탐지기를 평가한 결과, 규칙 기반 탐지기는 고위험 데이터에서 성능이 저조한 반면, LLM 기반 탐지기는 더 강력한 성능을 보였으며, 민감도 계층이 가장 어려운 축이라는 것을 확인했어요.