Reddit 사용자가 100파운드(약 15만원) 예산으로 저가형 로컬 LLM 서버 구축 방법을 문의했어요. 메모리 대역폭이 가장 중요하며, 저렴한 데이터센터 GPU와 충분한 RAM을 가진 중고 PC를 찾고 있어요. 3D 프린팅 냉각 장치, 전원 어댑터 개조 등 번거로운 설정도 괜찮다고 밝혔어요.
현재 LLM 서버 구축에 필요한 GPU는 메모리 대역폭이 중요하며, 저렴한 데이터센터 GPU를 여러 개 활용하여 대역폭을 확보하는 것을 고려하고 있어요. 또한, 충분한 RAM을 갖춘 중고 사무용 PC를 함께 구매할 계획이에요.
Reddit 사용자는 LLM 서버 구축 경험이 부족하지 않으며, 3D 프린팅 냉각 장치나 전원 어댑터 개조 등 번거로운 설정도 감수할 의향이 있다고 언급했어요.