Pulse · AI 뉴스

토큰화의 딜레마: 트랜스포머 그래프 토큰화의 근본적인 절충점

arXiv cs.LG · 2026-05-21

연구진은 트랜스포머 아키텍처에서 그래프 학습을 위한 토큰화 방식이 모델 표현력에 중요한 영향을 미친다는 것을 밝혔습니다.

스펙트럴, 랜덤 워크, 인접 행렬 토큰화 등 세 가지 토큰화 방식을 분석한 결과, 각 방식은 서로 다른 깊이(depth) 요구 사항을 유발합니다.

랜덤 워크 토큰화는 정보 손실을 일으켜 그래프 복구가 불가능하며, 스펙트럴 토큰화는 국소 작업에 적합하지 않다는 것을 증명했습니다.

##그래프토큰화##트랜스포머##스펙트럴##랜덤워크
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기