연구진은 제한적인 금융 데이터 환경에서 지식 증류 프레임워크를 제안했어요. 소량의 실제 데이터 클러스터링을 통해 합성 데이터를 생성하고, 이를 활용해 소형 모델을 학습시켰어요. 실험 결과, 합성 데이터 기반 학습 모델이 교사 모델을 능가하는 성능을 보여줬어요.
소형 모델은 최소한의 감독만으로 강력한 성능을 달성하며, 공식 문서와 노이즈가 많은 텍스트 모두에서 경쟁력을 유지했어요. 이 프레임워크는 적은 인적 라벨링 노력으로 금융 NLP 분야의 자원 효율적인 도메인 적응을 가능하게 해요.
연구는 금융 분야의 제한된 데이터 환경에서 효율적인 모델 학습을 위한 실용적인 방법을 제시하며, 데이터 부족 문제를 해결하는 데 기여할 것으로 기대돼요.