OpenBMB가 아스크엔드 NPU 플랫폼에서 1.58비트 양자화 인식 훈련(QAT) 연구인 BitCPM-CANN을 발표했어요.
BitCPM-CANN 3B 모델은 BBH에서 풀 정밀도 성능과 동등한 수준을 달성했고, 8B 모델은 GSM8K에서 거의 모든 성능을 회복했어요.
BitCPM-CANN은 기존 대비 최대 8배의 가중치 메모리 감소를 제공하며, 훈련 처리량 오버헤드는 4.5%에 불과해요.
이 연구는 8B 파라미터 규모의 1.58비트 훈련 시스템을 아스크엔드 생태계에 처음으로 제공하며, 재사용 가능한 저비트 훈련 인프라를 제공해요.