APM 벤치마크는 LLM 응답 스타일을 사용자의 암묵적 선호도에 맞춰 개인화하는 방법을 평가하기 위해 개발됐습니다. 이 벤치마크는 사용자 속성(예: 열정적)과 응답 원칙(예: 설득력)을 무작위 매핑을 통해 분리합니다. APM은 모델이 스타일 개인화를 일반적인 응답 품질과 혼동하지 않도록 설계됐습니다. Llama-3.1-8B와 Qwen-3.5-27B 모델을 활용한 실험 결과, 라우팅 방식이 가장 안정적인 성능을 보였습니다.
RAG는 더 강력한 기본 LLM에서만 성능이 향상되며, 소프트 프롬프트 최적화는 개인화되지 않은 기준선보다 크게 개선되지 않았습니다. 이 연구는 현실적인 환경에서 스타일 개인화가 여전히 어려운 과제임을 보여주지만, 적용된 방법들이 잠재력을 보여주고 있습니다.
APM 벤치마크는 사용자의 암묵적 선호도를 추론하는 데 중점을 두고 있어, 모델이 고정관념을 피하고 실제 대화 기록에서 선호도를 파악하도록 유도합니다. 이 연구는 LLM 스타일 개인화의 새로운 평가 기준을 제시하고, 관련 연구 방향을 제시합니다.