연구진이 BPE와 Unigram-LM 토큰화 알고리즘을 화학 분야에서 비교 분석했어요. 두 알고리즘은 다양한 화학 데이터셋에서 거의 겹치지 않는 서브워드 어휘를 구축하는 것으로 나타났어요. Unigram-LM은 BPE보다 분자 분할 시 더 많은 토큰을 사용하며, 분절 위치는 대체로 일치하지만 깊이는 다르다는 점이 확인됐어요.
BPE는 Unigram-LM에 비해 분절을 더 단순화하며, 이러한 차이는 데이터 유형, 분할 정책, 어휘 크기에 관계없이 지속돼요. 연구는 언어 모델 학습을 포함하지 않았으며, 토큰화 알고리즘 선택이 모델링 결정임을 강조했어요.
연구 결과, 토큰화 알고리즘은 모델링 결정이며, BPE는 Unigram-LM에 비해 분절을 더 단순화하는 것으로 나타났습니다. 향후 화학 언어 모델 개발 시 토큰화 알고리즘 선택에 대한 신중한 고려가 필요합니다.