연구진은 구조화된 메타데이터 검색 시 필드 순서가 검색 품질에 영향을 미친다는 사실을 밝혀냈습니다. 기존 미세 조정 방식은 필드 위치에 의존하여 필드 순서가 바뀌면 성능이 저하되는 문제가 있었습니다.
필드 순서에 관계없이 성능을 유지하는 순열 불변 미세 조정(PI-FT) 기법을 제안하여 필드 순서 변경에 따른 성능 저하를 최소화했습니다. PI-FT는 데이터 로더에서 몇 줄만 수정하면 적용 가능하며, 기존 성능에 큰 영향을 주지 않습니다.
개발 통계(DevDataBench)라는 1만 개 이상의 지표를 포함하는 데이터셋을 활용하여 15개 언어로 생성된 LLM 기반 쿼리를 통해 검색 성능을 평가했습니다.
118M 파라미터 CPU 인코더는 zero-shot 모델보다 뛰어난 성능을 보였으며, 특히 저자원 언어에서 성능 향상이 두드러졌습니다. 벤치마크, 파이프라인, 모델, PI-FT 프레임워크를 공개했습니다.