SciCustom은 과학 연구에 활용되는 LLM의 미세한 역량을 평가하기 위한 새로운 프레임워크입니다. 기존 벤치마크의 한계를 극복하기 위해, 대규모 과학 데이터를 활용해 사용 사례에 맞는 맞춤형 벤치마크를 구축할 수 있도록 설계됐습니다. 화학 및 헬스케어 분야 실험 결과, SciCustom은 기존 벤치마크가 놓치는 LLM의 과학적 역량 차이를 드러냈습니다.
SciCustom은 과학 지식을 체계화하고, 다중 모델 합의를 통해 관련 지식 단위를 식별하며, 효율적인 평가를 위한 데이터 기반 벤치마크를 생성합니다. 전문가 주석이나 합성 질문 생성 없이도 과학적 역량을 평가할 수 있습니다.