SovereignPA-Bench는 사용자의 주권(개인정보 보호, 동의, 증거 기반 의사결정)을 고려한 개인 에이전트 평가 벤치마크입니다. 기존 벤치마크는 도구 사용, 웹 탐색 등을 평가했지만, 사용자의 현재 의도를 반영하면서도 개인정보 보호 및 동의를 존중하는지 확인하지 못했습니다.
벤치마크는 에이전트가 볼 수 있는 정보와 평가자가만 볼 수 있는 정보를 분리하고, 작업 성공률, 정렬성, 개인정보 보호, 동의, 증거, 조작, 부담, 감사 가능성 등의 지표를 보고합니다.
4가지 모델 패밀리와 8가지 정책 기준을 평가한 결과, 사용자의 주권을 강화하는 스캐폴딩이 개인정보 유출, 동의 위반, 과도한 양보, 조작 방지 측면에서 효과적임을 확인했습니다.
연구 결과, 개인 에이전트 평가는 작업 완료를 넘어 대표성, 동의, 증거 기반 행동을 평가하는 방향으로 나아가야 함을 시사합니다.