백추안(Baichuan)에서 새로운 오픈 소스 대규모 언어 모델 Baichuan2-13B-Chat-4bits를 공개했어요. 이 모델은 2조 6천억 토큰의 고품질 데이터로 학습되었으며, 수학 및 논리 추론 능력이 향상되었어요.
Baichuan2 모델은 7B, 13B 버전의 Base 및 Chat 모델과 Chat 버전의 4비트 양자화 버전을 제공하며, 연구 및 상업적 사용을 모두 지원해요.
모델 사용을 위해선 PyTorch 2.0 환경이 필요하며, 빠른 추론 속도를 위해 F.scaled_dot_product_attention 기능이 활용되었어요.