연구진은 그래프 언어 모델(GLM)에서 그래프 토큰의 내부 활성도가 그래프 정보 활용도를 제대로 반영하지 않는다는 사실을 밝혀냈습니다.
그래프 싱크 토큰은 과도한 활성화 값을 보이는 경향이 있지만, 쿼리 토큰의 주요 어텐션 대상이 되지 않습니다.
싱크 토큰 제거, 재배치, 교환 실험 결과, 싱크 토큰은 예측에 중요한 의미나 구조를 담고 있지 않다는 것을 확인했습니다.
현재 GLM은 그래프 구조를 토큰 공간에 매핑하지만, 완전한 토폴로지 인식 내부 표현을 형성하지 못하며, 활성도와 유틸리티가 분리되는 현상이 나타납니다.