본 연구는 그래프 토큰화 LLM(GTokenLLMs)이 그래프 토큰을 자연어 임베딩 공간에서 완전히 이해하는지 의문을 제기하며, GTEval 평가 파이프라인을 통해 그래프 토큰 이해도를 평가합니다.
실험 결과, 기존 GTokenLLMs는 지시사항 변경에 과민 반응하거나 무관심하며, 추론에 텍스트에 크게 의존하는 것으로 나타났습니다.
추가적인 지시사항 튜닝은 성능을 향상시키지만, 그래프 토큰 이해도의 근본적인 문제를 해결하지 못하며, 더 나은 개선이 필요함을 시사합니다.