연구진은 LLM의 과학적 데이터 분석 역량을 평가하는 SDABench를 발표했어요. SDABench는 가설 탐색, 통계적 추론, 메커니즘 설명 등 6가지 역량을 평가하며, 생물학, 화학, 환경, 지리, 물리학 5개 분야를 다뤄요.
15개 LLM 평가 결과, LLM은 기술적인 분석에는 강하지만, 가정 선택, 잠재적 과정 모델링, 메커니즘 추론 등에서는 어려움을 겪는 것으로 나타났어요.
SDABench는 LLM의 오류 원인을 분석하는 5단계 프레임워크를 제공하며, 변수 관계 모델링과 타당한 결론 도출에 어려움을 겪는다는 점을 지적했어요.