HARNESS-LM(HLM)은 대규모 SLM의 능력을 소형 모델로 이전하는 3단계 학습 프레임워크입니다.
HLM은 10억 파라미터 규모의 SLM을 활용한 고성능 참조 모델을 학습하고, L2 객체 함수를 통해 쿼리 표현을 정렬하여 600M 파라미터 이하의 학생 인코더에 지식을 증류합니다.
실제 Bing Ads 평가 벤치마크에서 HLM은 참조 모델의 정밀도를 98% 이상 회복하면서 NVIDIA A100 GPU에서 온라인 쿼리-인코더 지연 시간을 27배 줄이고 처리량을 20배 높였습니다.