사용자가 Unsloth Studio를 활용해 DeepSeek v4 Pro로 생성한 QA 데이터셋으로 Gemma 4 26B-A4B와 12B 모델을 파인튜닝했어요. 26B 모델은 12B 모델보다 내부 지식이 풍부하여 학습 손실이 4배 가까이 낮았지만, 평가 격차는 미미했어요.
Dense 모델인 12B는 MoE 모델인 26B보다 벽시계 속도가 빠르고 GPU 처리량도 높았지만, 그래디언트 노름은 더 불안정했어요. 12B 모델은 과적합되었을 가능성이 있어요.
파인튜닝에 사용된 데이터셋과 모델은 Hugging Face에 공개되었으며, 실험 결과는 이미지로 정리되어 첨부됐어요. 커뮤니티의 필요한 파인튜닝 수요를 파악하고 싶다고 밝혔어요.