LLM 로컬 실행 입문자가 겪는 어려움을 호소하며, 다양한 툴과 모델 선택의 어려움을 토로했어요.
Windows 환경에서 사용하기 좋은 GUI, 모델별 성능 비교 자료, 그리고 모델 크기가 성능에 미치는 영향에 대한 질문을 남겼어요.
현재 Ollama를 통해 Gemma 4와 Qwen 3.6 모델을 사용 중이며, 모델 크기 차이에 따른 성능 차이와 VRAM 활용에 대한 궁금증을 표현했어요.
RTX 5090 GPU와 64GB RAM을 갖춘 시스템 환경에서 LLM 로컬 실행을 위한 조언을 구하며, 초보자를 위한 가이드가 필요한 상황이에요.