화학 연산 언어 모델은 정확한 연쇄 사고(CoT)를 통해 분자 답변을 도출할 것으로 기대돼요. 하지만 4가지 모델 패밀리와 12가지 화학 작업에서 환각 현상이 널리 퍼져 있으며, 답변 정확성과는 거의 무관해요.
모델별로 다양한 형태의 공유 스크랩북 기능이 나타나는데, Chem-R과 ether-0는 단편적인 SMILES 초안을 사용하고, ChemDFM-R은 골격, 위치, 명명법 단서를 강조해요.
Chem-R의 SMILES 초안을 교란하면 생성 성능이 저하되는데, 이는 구조적 초안이 언어적 구조적 주장이 거의 무효할 때에도 원인적으로 중요한 역할을 할 수 있음을 보여줘요.