연구진은 차등 개인 정보 보호(DP) 합성 텍스트가 민감한 데이터셋을 활용한 모델 학습을 가능하게 하지만, 실제 성능 향상 효과를 측정하는 데 어려움을 겪고 있어요. 이를 해결하기 위해 기존 벤치마크로는 풀 수 없는 새로운 벤치마크 ContinuousBench를 도입했어요. ContinuousBench는 분기별로 새로운 학습 코퍼스와 질문 답변 세트를 생성하여 DP 합성 텍스트의 성능을 평가해요.
ContinuousBench는 Geminon(가상 생물)과 뉴스 데이터 두 가지 트랙으로 구성되어 있으며, 현재까지 DP 합성 방법은 기존 방식에 비해 성능 향상에 미흡한 것으로 나타났어요. 특히, $\varepsilon=100$ 환경에서도 성능이 저조한 것으로 확인돼요.
연구진은 ContinuousBench를 통해 DP 합성 텍스트의 발전 방향을 제시하고, 민감한 데이터셋을 활용한 모델 학습 연구를 촉진할 계획이에요.