Jamesob이 최신 LLM과 음성-텍스트 변환을 로컬에서 실행하기 위한 가이드를 공개했어요. 200만원 가량의 예산으로 2개의 RTX 3090을 구성하여 48GB VRAM을 확보했어요. Qwen3.6-27B와 whisper-large-v3 기반 로컬 STT 실행 방법을 담고 있어요.
가이드에는 하드웨어 구성, PCIe 스위치 설정, Docker 실행 구성 등 로컬 환경 구축에 필요한 정보가 담겨 있어요. RTX 3090 2개로 48GB VRAM을 확보하여 최신 LLM을 로컬에서 실행할 수 있도록 돕고 있어요.
저렴한 비용으로 최신 LLM을 로컬에서 실행하는 방법을 제시하여 개인 개발자나 연구자에게 유용할 것으로 보입니다.