연구 분야별 지향성이 다른 기존 관계 추출 벤치마크의 한계를 극복하기 위해 심리학 분야에 특화된 데이터셋 EmpiriGraph-Psy를 공개했어요. 이 데이터셋은 변수 중심의 경험적 그래프 추출 작업을 지원하며, 심리학 논문 초록을 유형화된 그래프로 매핑하는 것을 목표로 해요. 연구진은 직접 추출 방식과 단계별 그래프 구성 파이프라인을 통해 LLM 성능을 평가했으며, 단계별 파이프라인이 직접 추출 방식보다 훨씬 우수한 성능을 보였어요.
단계별 파이프라인은 변수 추출, 정규화, 계층 구조 구성, 증거 선택, 관계 추출, 에지 검증 등 여러 단계를 거쳐 최대 macro-F1 점수 0.74를 달성했어요. 분석 결과, 조정 관계와 개념 계층 구조가 여전히 어려운 과제로 남아있으며, 과학 논문 초록에서 고차원적인 경험적 주장과 암묵적인 추상 구조를 추출하는 데 어려움이 있음을 보여줬어요.
EmpiriGraph-Psy 데이터셋은 심리학 분야의 과학적 관계 추출 연구에 기여하고, LLM의 추론 능력을 향상시키는 데 활용될 수 있을 것으로 기대돼요.