연구진이 독일 법률 추론 능력 평가를 위한 BenGER 데이터셋을 공개했어요. 데이터셋은 법학 교육 수준별 시험 유형 문제와 짧은 법률 논리 문제 1127개로 구성돼요. 12개의 LLM 모델을 평가한 결과, 독점 모델이 가장 높은 성능을 보였고, 인간과 AI 협업이 단독 인간 작업보다 우수했어요.
BenGER 데이터셋은 자동 평가 지표와 심사위원 기반 평가 지표를 모두 활용하여 모델 성능을 측정해요. LLM을 심사위원으로 활용하는 새로운 프레임워크는 인간 심사위원과 유사한 수준의 신뢰도를 보여줘요. 연구 결과는 arXiv에 공개됐어요.
연구 결과, 인간 심사위원 1명을 LLM 심사위원으로 대체해도 전체 인간 평가 그룹과의 일치도가 크게 떨어지지 않았어요. 또한, 인간과 AI 협업을 통해 더 나은 결과를 얻을 수 있다는 점을 확인했어요.