연구진이 Snowflake 플랫폼의 AI 기반 SQL 기능을 평가하는 새로운 벤치마크 Spider 2.0-AIFunc를 공개했어요.
Spider 2.0-AIFunc는 기존 텍스트-SQL 벤치마크를 기반으로 465개의 실제 데이터베이스 인스턴스를 포함하며, 6가지 유형의 AI 기능을 다룹니다.
최고 성능 모델은 67~70%의 정확도를 기록했지만, 오픈소스 모델은 58.1%로 성능 격차가 뚜렷하며, 주로 예측 조건 명시, 스키마 기반, AI 함수 매개변수화 오류에서 비롯됩니다.