연구진은 기존 질문 답변 평가 방식의 한계를 지적하며, 사용자의 선호도와 모델 답변의 일치도를 평가하는 새로운 벤치마크인 CoPA를 발표했습니다.
CoPA는 Community-Individual Preference Divergence (CIPD)를 활용하여 개인화된 질문 답변을 평가하는 6가지 핵심 요소를 도출하고, 1,985개의 사용자 프로필을 포함합니다.
이 벤치마크는 모델의 답변과 사용자의 인지적 선호도 간의 정렬을 정량화하여, 개인화된 질문 답변 평가를 위한 보다 포괄적인 기준을 제시합니다.