연구 논문 재현 시 LLM 기반 연구 에이전트의 평가에 루브릭 기반 평가가 유망하지만, 논문별 루브릭을 만드는 데 전문가의 노력이 필요해 확장성이 제한돼요.
연구진은 LLM이 생성한 루브릭을 체계적으로 메타 평가하는 첫 번째 연구를 진행하고, 루브릭을 체크리스트 형태로 재구성해 두 가지 모델의 네 가지 생성 설정을 평가했어요.
메타 평가는 의미론적 유사성 및 점수 정렬을 통해 이루어졌으며, 가장 강력한 설정은 인간 기준에 근접한 성능을 보였지만, 내재적 개선은 미미했어요.