연구진은 트랜스포머 아키텍처에서 그래프 학습을 위한 토큰화 방식이 모델 표현력에 중요한 영향을 미친다는 것을 밝혔습니다. 스펙트럴, 랜덤 워크, 인접 행렬 토큰화 등 세 가지 토큰화 방식을 분석한 결과, 각 방식은 서로 다른 깊이(depth) 요구 사항을 유발합니다. 랜덤 워크 토큰화는 정보 손실을 일으켜 그래프 복구가 불가능하며, 스펙트럴 토큰화는 국소 작업에 적합하지 않다는 것을 증명했습니다.