연구진은 화학 구조의 특성을 활용한 트랜스포머 모델인 GM-Net (Geometric Measure Network)을 개발하고, 이를 Chem-GMNet으로 구현했습니다. Chem-GMNet은 분자를 구면 상의 방향으로 표현하고, Gegenbauer 특징 지도를 활용하여 성능을 향상시켰습니다.
Chem-GMNet은 DeepChem scaffold 분할 데이터셋에서 ChemBERTa-2 모델을 능가하는 성능을 보였으며, 동일한 1000만 분자 데이터셋으로 사전 훈련했을 때 8개 엔드포인트 중 6개에서 공개된 ChemBERTa-2 모델을 능가했습니다.
구면 차원(k)을 8에서 10으로 늘리는 실험에서 ESOL RMSE를 0.938로 낮추는 성과를 거두었으며, 사전 훈련 없이도 ChemBERTa-2 모델을 능가하는 결과를 얻었습니다.