MLX를 사용하여 Apple Silicon에서 7B 명령어 모델을 고유한 문학적 스타일(Gene Wolfe 및 Tolkien)로 미세 조정하는 방법을 공유합니다.
약 1,200개의 예제로 구성된 데이터 세트를 사용하여 모델은 일반적인 어조에서 특정 문학적 어조로 전환되었으며, perplexity가 35% 감소했습니다.
미세 조정 프로세스는 양자화된 Mistral-7B-Instruct-v0.3 모델을 기반으로 하며, 데이터 생성, 학습, 평가, 기본 모델과 어댑터 융합, GGUF로 내보내기를 포함합니다.
데이터 큐레이션이 가장 중요한 작업이었으며, 여기에는 데이터 정리, 문장 경계로 분할, 프롬프트 생성 및 어조 프레임이 포함되었습니다.
모델의 0.145%에 해당하는 가중치만 학습되었지만, 모델은 일반적인 도움말 어시스턴트에서 특정 문학적 어조로 가시적으로 전환되었습니다.
소규모 로컬 모델을 미세 조정하는 것은 이제 단일 Mac에서 몇 시간 만에 오프라인으로 거의 제로 마진 비용으로 관리 가능한 작은 미세 조정 데이터 세트와 함께 수행할 수 있습니다.