TuneAhead는 LLM 파인튜닝 성능을 예측하는 경량 프레임워크입니다. 정적 데이터셋 정보와 짧은 표준 프로브의 동적 특징을 결합하여 메타-특징 벡터를 생성합니다. 이 벡터를 통해 성능을 예측하고, SHAP 기반 해석을 제공하여 어떤 특징이 예측에 영향을 미치는지 파악할 수 있습니다.
Qwen2.5-7B-Instruct 모델을 활용한 1,300회 이상의 파인튜닝 실험에서 TuneAhead는 Early-Stop Extrapolation, ProxyLM 등 기존 방식보다 뛰어난 성능을 보였습니다. 370회 테스트 세트에서는 RMSE 1.47%p를 달성하며, 95.1%의 예측이 실제 점수와 ±3%p 이내로 정확했습니다.
TuneAhead는 불필요한 전체 파인튜닝을 줄이면서 유망한 실험을 유지하는 실용적인 go/no-go 정책을 지원합니다.