연구자가 토큰 기하학이 의미 관계를 반영하는 새로운 토큰화 방식을 제안했어요. 기존 토큰화 방식은 통계적 구조만 반영하지만, 이 방식은 의미적으로 관련된 개념에 유사한 코드를 부여하여 토큰 자체에 의미 정보를 담도록 설계됐어요. 연구자는 이 방식이 샘플 효율성, 학습 효율성, 해석 가능성, 교차 언어 개념 공유, 의미 정보 압축에 도움이 될 수 있다고 기대하고 있어요.
WordNet, 임베딩 유사성 등을 활용해 의미 그래프를 구축하고, 개념을 짧은 문자열로 인코딩하는 방식이 제안됐어요. 키보드 레이아웃을 활용해 고정된 기하학적 공간을 활용하는 확장 아이디어도 제시됐어요.
연구자는 이 방식이 기존 모델이 이미 효율적으로 학습하는 구조를 불필요하게 만들 수도 있다고 인정하며, 관련 연구나 이론적 근거에 대한 피드백을 구하고 있어요.