8B 모델을 0.6B 모델로 증류하여 금융 문서 처리 성능 향상, Few-shot 프롬프트는 오히려 성능 저하

연구자가 8B 모델의 지식을 0.6B 모델로 증류하여 금융 문서 요약 및 태깅 작업을 수행하는 시스템을 구축했어요. 증류된 0.6B 모델은 기존 모델 대비 요약 정확도가 100%로 향상되었고, 추론 속도는 1.24초로 빨라졌어요. Few-shot 프롬프팅은 오히려 모델의 성능을 저하시키는 문제를 확인했으며, 이는 작은 모델의 한계로 분석되었어요.