PPL-Factory는 언어 모델 미세 조정 시 효과적인 데이터 선택을 위한 프레임워크입니다. 작업 특성을 고려한 perplexity 기반 점수와 예산 기반 선택 기준을 결합하여, 기존 방식보다 성능이 뛰어납니다.
GSM8K 데이터셋 실험 결과, PPL-Factory는 전체 데이터셋의 1%만 사용했을 때도 다른 데이터 선택 방법보다 우수한 성능을 보였습니다.
10% 데이터만으로도 전체 데이터셋을 사용한 미세 조정 정확도를 GSM8K에서 0.9%, MATH에서 4.8% 이상 능가하는 결과를 얻었습니다.