연구진은 LLM이 개인 맞춤형 에이전트로 발전하면서 개인 선호도에 따른 평가가 중요해짐에 따라, 새로운 평가 패러다임인 Personalized Evaluation as Learning을 제안했어요.
PARL(Preference-Aware Rubric Learning)은 사용자 이력에서 선호도 기반 채점 기준을 학습하고, 자체 검증 메커니즘을 통해 사용자 선호도와 일관성을 유지해요.
실험 결과, PARL은 사용자 맞춤형 텍스트 생성 작업에서 사용자 선호도에 부합하는 응답을 정확하게 식별하고, 스타일 선호도와 미세한 평가 패턴을 포착하는 고품질 채점 기준을 유도했어요.