연구진은 화학 언어 모델(CLM)이 화학적으로 의미 있는 부분 구조를 어떻게 인코딩하는지 조사하기 위해 8개의 사전 훈련 모델과 6개의 무작위 초기화 모델을 분석했어요. 사전 훈련은 일반적으로 CLM의 분자 구조 인식 능력을 향상시키며, 특히 상위 레이어에서 효과적이었어요. 미세 조정은 화학적 이론에 따라 관련 분자 부분 구조의 표현에 더 큰 영향을 미치는 것으로 나타났어요.