연구진이 지식 그래프 데이터 통합 파이프라인 평가를 위한 새로운 벤치마크 KGI-Bench를 제안했어요. KGI-Bench는 커버리지, 정확성, 일관성 세 가지 품질 지표로 파이프라인의 출력인 업데이트된 지식 그래프를 분석해요. 영화 도메인에 대한 벤치마크 데이터셋(시드 지식 그래프, 세 가지 형식의 중복 입력 데이터, 참조 지식 그래프)을 제공합니다.
12개 파이프라인을 비교 평가하고 다양한 입력 데이터 형식과 설계 선택에 따른 동작을 분석하여 KGI-Bench의 유용성을 입증했어요. KGI-Bench는 데이터 통합 파이프라인의 품질과 성능을 평가하고 최적의 선택을 결정하는 데 도움을 줄 수 있습니다.
KGI-Bench는 기존 지식 그래프에 다양한 형식의 입력 데이터를 통합하는 파이프라인을 평가하는 데 사용될 수 있으며, 데이터 통합 프로세스를 개선하는 데 기여할 것으로 기대됩니다.