연구진은 쿼리만으로 루브릭을 생성하는 새로운 프레임워크 'Rubrics on Trial'을 발표했어요. 이 방법은 외부 데이터나 모델 훈련 없이 합성된 루브릭 기반 응답 쌍을 활용해 루브릭을 진화시킵니다. Rubrics on Trial은 비판적 루브릭을 선별하여 품질을 구별하고, 불필요한 스타일을 보상하거나 유효한 전략을 불이익 주는 것을 방지합니다.
다섯 가지 선호도 벤치마크에서 실험한 결과, Rubrics on Trial은 가장 높은 정확도를 달성했으며 7개의 평가 세트 중 6개에서 우위를 보였어요. 기존 방식 대비 루브릭의 유용성을 검증하는 과정이 성능 향상에 기여했습니다.
Rubrics on Trial은 쿼리 기반 루브릭 생성의 새로운 가능성을 제시하며, LLM 훈련 및 평가에 활용될 수 있는 효과적인 방법론으로 평가받고 있습니다.