연구진은 8B 추론 모델(deepseek-r1:8b)을 0.6B 학생 모델(Qwen3-0.6B)로 증류하여 온디바이스 구조화된 텍스트 풍부화 성능을 향상시켰습니다.
증류된 학생 모델은 원문 요약 품질에서 기존 제약 디코딩 방식보다 16.8점, few-shot 프롬프팅 방식보다 4.9점 높은 성능을 보였습니다.
추론 능력을 가진 교사 모델은 요약 품질 향상에 기여하는 반면, 관리형 파이프라인은 라벨 다양성을 높이는 데 효과적이며, 동일 크기의 instruction 모델은 원본 데이터에 더 충실한 결과를 보여줍니다.
연구 결과는 각 분야별 라우팅 지도를 제공하여, 단일 엔진으로 모든 분야를 커버하지 못하는 상황에서 온디바이스 풍부화를 위한 최적의 전략을 제시합니다.