Pulse · AI 뉴스

Mistral medium 3.5 128B 모델, MLX 4bit 변환으로 ~70GB

Mistral · 2026-05-01

Mistral medium 3.5 128B 모델을 MLX 4bit로 변환하여 약 70GB 크기로 만들었어요.

비전 인코더를 포함하고 있으며, 256K 컨텍스트를 지원하고, 툴 호출 기능도 작동해요.

M2 Max 96GB 환경에서 초당 약 5토큰의 속도를 보여주고 있으며, 샘플링 시 적절한 파라미터 설정을 추천해요.

##모델변환##Mistral##MLX##4bit
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기