OpenRTAG은 텍스트 속성 그래프 학습 모델의 강건성(robustness)을 평가하기 위한 새로운 벤치마크입니다. 텍스트, 구조, 레이블의 품질 저하 문제를 3x3 분류 체계로 정리하고 9개의 데이터셋과 3가지 다운스트림 작업에 대한 표준화된 평가를 지원합니다.
OpenRTAG은 기존 GNN, LLM-GNN, GFM 모델을 비교 분석하고, 시나리오별 맞춤형 기준 모델의 효과성, 효율성, 강건성을 조사하며, 복합적인 품질 저하 시나리오에서의 모델 행동을 분석합니다.
OpenRTAG은 현실적인 저품질 환경에서 텍스트 속성 그래프 학습의 강건성을 이해하기 위한 표준화된 테스트베드를 제공하며, 데이터 품질 문제에 대한 연구를 촉진할 것으로 기대됩니다.