연구진은 복잡한 우선순위 관계를 고려한 섀플리 값 계산 방법인 GPASV(Generalized Priority-Aware Shapley Value)를 새롭게 제시했어요. 기존 방식은 우선순위 관계가 단순해야 했지만, GPASV는 복잡한 순환 구조도 처리할 수 있도록 설계됐어요.
GPASV는 LLM 앙상블 평가에 적용해 Chatbot Arena 선호도 그래프를 분석했는데, 우선순위 처리 방식에 따라 결과가 크게 달라지는 것을 확인했어요.
이번 연구는 머신러닝 모델 평가 시 우선순위 정보를 효과적으로 활용하는 것이 얼마나 중요한지 보여주는 중요한 결과입니다.