연구진은 차등 개인 정보 보호(DP) 알고리즘 설계 및 검증에 필요한 복잡한 추론을 자동화할 수 있는지 LLM의 능력을 평가하기 위해 DPrivBench를 개발했어요.
DPrivBench는 함수나 알고리즘이 특정 가정 하에 주어진 DP 보장 조건을 충족하는지 질문하는 벤치마크로, 다양한 DP 주제를 포괄하고 난이도 수준이 다양하도록 설계되었어요.
실험 결과, 현재 LLM은 교과서적인 메커니즘은 잘 처리하지만 고급 알고리즘에서는 어려움을 겪으며, DP 추론 능력의 격차가 여전히 존재한다는 것을 보여주었어요.