연구진이 인간 전문가 없이도 고품질 벤치마크 루브릭을 생성하는 확장 가능한 파이프라인을 제안했어요. 104개의 실제 사용자 쿼리 기반으로 14,450개의 후보 루브릭을 자동으로 합성했어요. LLM 기반 평가가 인간 평가와 충분히 일치하는 것을 확인하여 대규모 루브릭 검토에 인간 전문가를 대체했어요. 최종적으로 2,600개의 합의 기반 금 루브릭을 확보하여 10개의 딥 리서치 시스템을 명확하게 구분하는 순위를 얻었어요.
기존 방식의 한계인 인간 전문가의 의존성을 해결하고, 벤치마크 평가, 자동 시스템 비교, 평가 기반 시스템 개선 연구를 위한 확장성을 확보했어요. LLM이 3가지 보고서에 대해 동일한 쿼리에서 만장일치로 동의하는 경우에만 루브릭을 유지하는 엄격한 일관성 필터를 적용했어요. 또한, 평가된 시스템에서 최소한 하나의 다수 긍정 및 다수 부정 레이블을 할당하는 구별력 필터를 적용하여 최종 합의 기반 금 루브릭을 선정했어요.
FinResearchBench II는 58.58%에서 22.23%까지 아이템 수준의 합격률을 보여주며, 딥 리서치 시스템의 성능을 객관적으로 평가할 수 있는 기반을 마련했어요. 이 파이프라인은 인간 전문가의 실행을 루브릭 생성 및 평가에서 제거하여 자연스럽게 확장 가능하며, 앞으로 LLM 기반 연구의 발전에 기여할 것으로 기대돼요.