PrismML에서 공개한 270억(27B) 파라미터 규모의 8비트(8B) ternary 모델 'Bonsai'를 파인튜닝하는 실험을 진행했어요. 기존 Qwen3 모델을 자체 방식으로 ternary로 변환하여 만들었으며, 2GB의 작은 용량을 자랑합니다.
파인튜닝 과정에서 기존의 양자화 라운딩 에러 복구 기법(imatrix, AWQ, GPTQ)은 적용되지 않았으며, 대신 양자화 인식 훈련(QAT) 방식을 사용했어요. Metal 환경에서 QAT를 진행하여 CUDA 없이도 파인튜닝이 가능했습니다.
전체 레이어 파인튜닝 시 오히려 성능이 저하되는 현상이 나타났는데, 이는 학습 데이터가 실제 문제 해결 과정이 아닌 로그 기록을 모방하는 데이터였기 때문으로 분석돼요. 손실(loss)을 최소화하는 방향으로 학습하면 모델은 문제 해결 능력보다는 로그 스타일을 모방하는 데 집중하게 됩니다.