연구진이 화학 문자 토큰화 방식인 BPE와 Unigram-LM를 비교 분석했어요. 두 방식은 다양한 화학 데이터셋과 토큰화 정책에서 뚜렷하게 다른 어휘를 구축하는 것으로 나타났어요. Unigram-LM은 BPE보다 분자 토큰화를 더 세분화하며, 이는 데이터셋, 경계 정책, 어휘 크기에 관계없이 일관되게 나타났어요.
BPE와 Unigram-LM의 교차 자카드 유사도는 최대 0.161로 매우 낮았으며, 고빈도 토큰을 가중치로 적용해도 0.05를 넘지 않았어요. 연구는 언어 모델 학습을 수행하지 않았으며, 토큰화 알고리즘이 모델링 결정임을 강조했어요.