연구진은 AI가 과학적 진보를 예측하는 능력을 평가하는 벤치마크 'CUSP'를 공개했어요. CUSP는 과학적 사건의 실현 가능성, 메커니즘 추론, 솔루션 설계, 시간 예측을 평가하는 다학제적 벤치마크예요.
4,760건의 과학적 사건을 분석한 결과, 현재 AI 모델은 과학적 진보의 실현 여부와 시기를 정확히 예측하는 데 한계가 있는 것으로 나타났어요.
생물학, 화학, 물리학 분야의 과학 발전 예측은 AI 발전 예측보다 어렵고, 사전 지식 접근은 성능 향상에 기여하지만 완전한 정보 접근 수준에는 미치지 못했어요.
AI 모델은 과도한 자신감과 편향된 응답을 보이는 경향이 있어, 과학적 진보 예측 도구로서 현재는 부족한 것으로 평가돼요.