애플의 온디바이스 3B 모델에 LoRA 어댑터 학습을 시도한 결과, QLoRA 파이프라인을 활용하여 메모리 사용량을 줄이고 무료 Colab T4 또는 24GB Mac에서 학습이 가능했습니다.
A100 LoRA, T4 QLoRA, Mac QLoRA 등 다양한 환경에서 학습한 어댑터는 동일한 정확도를 보였으며, 최소한의 학습 데이터로도 베어 모델의 정확도를 크게 향상시켰습니다.
학습 과정에서 SIP-보호된 캐시에 어댑터가 불필요하게 저장되는 버그가 발견되었으며, 관련 코드가 GitHub 저장소에 공개되어 있습니다.