연구진이 과학적 아이디어의 유전적 관계를 평가하는 새로운 벤치마크 'IdeaGene-Bench (IG-Bench)'를 공개했어요.
IG-Bench는 논문과 제안을 최소한의 정보 단위인 '아이디어 유전체'로 표현하고, 유전적 관계를 추적하는 방식으로 구성돼요.
IG-Bench는 과학 분야 10개 영역에 걸쳐 1,961개의 유전적 관계 추적 데이터와 1,085개의 아이디어 유전체 객체, 920개의 유전체 차이 기록을 포함하고 있어요.
실험 결과, 현재 LLM 기반 시스템은 아이디어 유전관계 추론에 어려움을 겪고 있으며, 구조화된 유전체 맥락은 시스템 순위를 재편할 뿐, 모든 모델의 성능을 균일하게 향상시키지는 못했어요.