텍스트와 그래프 토폴로지를 함께 추론해야 하는 텍스트 속성 그래프(TAG)에 대한 새로운 모델이 제안됐어요. 기존 방식은 텍스트와 그래프를 분리해서 처리했지만, 이번 모델은 확산 언어 모델을 활용해 텍스트 추론과 그래프 메시지 전달을 통합했어요. TAG 벤치마크에서 기존 모델보다 성능이 뛰어나다는 결과가 나왔어요.
TAG-DLM은 샘플링된 로컬 이웃을 토큰 시퀀스로 선형화하고 토폴로지 어텐션 마스크를 통해 그래프 구조를 주입하여 메시지 전달을 구현해요. 다양한 작업을 수행하기 위해 프롬프트를 변경하는 것만으로도 가능하며, 노드 분류, 링크 예측, 교차 데이터셋 전송을 지원해요.