연구진은 LLM 지식 증류와 합성 데이터 생성으로 소형 언어 모델(SLM)의 텍스트-SQL 성능을 향상시키는 SQuaD-SQL을 개발했어요.
SQuaD-SQL은 LLM을 활용한 합성 데이터 생성, 효율적인 파라미터 조정, 도메인 적응형 미세 조정을 통해 SLM이 LLM에 근접한 성능을 보이도록 합니다.
WikiSQL 데이터셋 실험 결과, SQuaD-SQL은 86.9%의 실행 정확도를 기록하며 LLM 수준의 성능을 유지하면서도 빠른 추론 속도와 낮은 메모리 사용량을 제공합니다.