연구진이 LLM의 맥락적 개인정보(PII) 차단 성능을 평가하는 새로운 벤치마크 'RedactionBench'를 공개했어요. 기존 벤치마크는 PII 추출 메커니즘과 개인정보 보호 의미를 혼동한다는 문제점을 지적했어요.
RedactionBench는 11개 분야의 200개 문서를 수작업으로 분석했으며, 새로운 평가 지표인 R-Score를 도입하여 의미적으로 유사한 차단을 동일하게 취급하고 단순한 서식 변경을 무효화했어요.
다양한 모델 평가 결과, 맥락적 차단은 여전히 해결되지 않은 과제이며, 80명 이상의 사용자 평가에서 맥락적 차단에 대한 주관적인 인식 차이가 컸던 것으로 나타났어요.