연구진이 그래프-텍스트 생성 모델의 마스크 해제 경로를 분석하여, 기존 LLM과 달리 개체명, 관계, 기능어 순으로 텍스트를 생성하는 패턴을 발견했어요.
지도 학습 방식의 미세 조정(SFT)이 문장 구조 토큰을 조기에 고정해 출력 길이를 제한하는 문제를 확인하고, 이를 해결하기 위해 구조 토큰 신뢰도를 낮추는 람다 스케일링 구조 디코딩을 제안했어요.
새로운 모델 Graph-LLaDA는 LLaDA 디코딩 과정에 그래프 트랜스포머 인코더를 통합하여 관계 그래프 구조를 명시적으로 반영하고, LAGRANGE 데이터셋 평가에서 기존 모델보다 뛰어난 일반화 성능을 보였어요.