연구진은 트리 앙상블에 사용되던 부스팅 패러다임을 LLM 파인튜닝의 일반적인 훈련 원칙으로 적용하는 BoostLLM 프레임워크를 제안했어요.
BoostLLM은 테이블 데이터의 유도 편향을 통합하기 위해 의사 결정 트리 경로를 원시 기능과 함께 두 번째 입력 뷰로 통합하며, 초기 훈련 단계에서 구조화된 교사 역할을 한다고 밝혔어요.
실험 결과, BoostLLM은 다양한 LLM 백본과 데이터 세트에서 표준 파인튜닝 대비 일관된 성능 향상을 보여, 다양한 샷 수에서 XGBoost를 능가하고 GPT-4o 기반 방법보다 4B 모델로 우수한 결과를 얻었어요.