연구진이 LLM의 지식 그래프 생성 능력 평가를 위한 벤치마크 BLINKG를 제안했어요. BLINKG는 다양한 데이터 소스에서 지식 그래프를 구축하는 LLM의 매핑 능력을 평가하도록 설계됐어요.
벤치마크는 복잡도가 증가하는 시나리오 세트를 포함하며, 실제 사용 사례를 기반으로 구성돼 있어요. 실험 결과, 현재 LLM은 유망한 해결책을 제시하지만 복잡한 시나리오에서는 성능이 제한적이에요.
BLINKG는 LLM의 현재 지식 그래프 구축 능력을 평가하고, (반)자동화된 KG 구축을 위한 요구 사항을 정의하여 새로운 연구 방향을 제시해요.