연구진이 supramolecular 화학 분야 LLM 성능을 평가하는 벤치마크 'SupraBench'를 공개했어요. supramolecular 화학 분야의 host-guest reasoning을 평가하는 첫 번째 시도입니다.
벤치마크는 binding affinity 예측, top-binder 선택, 용매 식별, host-guest 설명 등 4가지 기본 과제와 분자 식별을 위한 시각 기반 보조 과제를 포함합니다.
연구 결과, 현재 LLM은 supramolecular 화학 분야에서 상당한 개선 여지가 있으며, SupraPMC 데이터셋을 활용한 domain adaptation pretraining은 regression 성능 향상에 기여하지만 strict letter-format 출력과 trade-off 합니다.
Supramolecular 화학 분야의 LLM 성능 향상을 위한 추가 연구가 필요하며, 관련 자료는 GitHub에서 확인할 수 있습니다.