Ornith 1.0 모델을 사용하기 전에 알아야 할 기본 가이드가 공개됐습니다. 이 가이드는 모델의 다양한 파라미터 크기(9B Dense, 31B Dense, 35B MoE, 397B MoE)와 포맷, 정밀도에 대한 설명을 담고 있습니다.
MoE 모델은 Mixture of Experts의 약자로, 모든 파라미터를 활성화하는 Dense 모델과 달리, 토큰마다 일부 전문가만 활성화하여 연산 속도를 높입니다. 다만, MoE 모델은 더 많은 RAM을 필요로 합니다.
모델은 safetensors (PyTorch/Hugging Face 컨테이너) 또는 GGUF (llama.cpp 컨테이너) 형식으로 제공되며, BF16, FP8, GGUF 양자화 등 다양한 정밀도로 사용할 수 있습니다. Q4_K_M 양자화가 일반적인 경우 품질과 크기 비율이 가장 좋습니다.