연구팀은 과학적 아이디어의 유전적 계보를 추론하고 새로운 아이디어를 생성하는 IG-Bench 벤치마크를 공개했어요.
IG-Bench는 논문과 제안을 최소한의 정보로 구성하고, 계보의 변화를 기록하는 GenomeDiff를 활용해 10개 과학 분야의 1,961개 계보 추적 데이터를 포함해요.
IG-Exam은 계보 추론 능력을 평가하고, IG-Arena는 계보 기반의 아이디어 생성 능력을 평가하며, 14개 LLM 기반 모델 실험 결과, 계보 추론 정확도가 27.3%에 불과했어요.
연구 결과, LLM 기반 모델은 아이디어 구성 능력에 제한이 있으며, 계보 맥락은 모델 순위를 재편하지만 모든 모델에 균일하게 도움이 되지는 않는 것으로 나타났어요.