연구진이 과학 코드 생성 능력을 평가하기 위한 128GB 규모의 대규모 데이터셋 SciCodePile을 공개했어요. SciCodePile은 37,737개의 공개 저장소에서 수집되었으며, 다양한 분야의 과학 코드를 포함하고 있어요. 15개의 LLM을 평가한 결과, 과학 코드 생성은 여전히 어려운 과제로, 최고 성능 모델도 실행 가능한 코드 벤치마크에서 12.30%의 Pass@1만 기록했어요.