연구진이 문서 집합 평가 프레임워크 SetwiseEvalKit을 개발하여 12개 리랭커를 평가했어요. 기존 리랭커는 문서 간 상호작용을 고려하지 못하고, 짧은 형식과 긴 형식 시나리오에서 성능 편차가 컸어요.
SetwiseEvalKit은 28,000개의 고품질 평가 기준을 포함하며, 문서 집합 선택 신호로 변환하는 Rubric4Setwise 방법론을 제안했어요.
Rubric4Setwise는 평가-진단-최적화 루프를 통해 다운스트림 생성 성능을 개선하고, 짧은 형식과 긴 형식 시나리오 모두에서 최첨단 결과를 유지했어요.