C0smo777 사용자가 AMD EPYC 9575F와 RTX 3090 4개로 LLM 서버 'Nalthis'를 구축했어요. 서버는 vLLM과 llamacpp를 활용해 소형 모델의 고처리량과 대형 모델의 추론을 지원합니다.
NPC 계획에 AI를 통합하기 위해 공간 시뮬레이션에 활용할 예정이며, RTX 3090의 전력을 250W로 제한하여 추론 성능을 최적화했어요.
Corsair 9000D 케이스를 사용했으며, 추가적인 공기 흐름을 위해 3D 프린팅된 팬 마운트를 활용했어요.