러시아 사용자가 예상치 못한 인터넷 단절에 대비해 자체 AI 링 구축을 계획하고 있습니다. 2개의 Intel Xeon CPU와 8개의 32GB DDR4 ECC RAM, 그리고 V100 16GB GPU를 활용할 예정입니다.
Deepseek V4 Flash (284B)와 MiMo V2.5 (310B) 모델을 목표로 하며, CPU만 사용할 경우 6~7tps, GPU를 활용하면 200~300tps의 성능을 기대하고 있습니다.
ik_llama.cpp 사용, 배치/우배치 설정, OMP_WAIT_POLICY 환경 변수 설정, MTP 모델 사용 등의 성능 향상 팁을 적용할 예정이며, CPU 간 통신 속도에 대한 우려도 제기했습니다.