연구진은 SQL 질문에 필요한 테이블과 열을 찾는 스키마 검색의 중요성을 강조했어요. Spider, BIRD, BEAVER, LiveSQLBench 등 5개의 텍스트-SQL 데이터셋을 검색 작업으로 재구성해 평가했어요. 기존 텍스트 및 코드 임베더가 스키마 검색에 효과적이지 않다는 것을 확인했어요.
연구진은 코퍼스 적응 파인튜닝 기법을 제안하여 자연어 쿼리를 생성하고, granularity-aware hard negative를 활용하여 305M 파라미터 임베더를 학습했어요. 이 과정에서 평균 recall@10이 60.4%에서 75.6%로 향상됐어요.
305M 모델은 10억 파라미터 내에서 가장 강력한 검색 성능을 보이며, 4-8B 파라미터의 최첨단 임베더와 경쟁하는 수준을 달성했어요. 8B 최첨단 임베더의 recall@10을 77.8%에서 78.4%로 개선하는 데에도 성공했어요.
연구 결과는 스키마 연결을 독립적인 검색 작업으로 확립하고, 코퍼스 적응을 기업 규모 배포를 위한 실용적인 방법으로 제시합니다.