RTX 5070 (12GB) 그래픽 카드와 32GB RAM을 사용하는 사용자가 사이버 보안 업무(레드팀/블루팀)에 적합한 로컬 LLM 활용법에 대한 조언을 구하고 있습니다.
모델의 검열 수준, 적절한 모델 크기(7B-14B vs 32B), 양자화 방식(Q4_K_M, Q5_K_M 등)에 대한 질문을 던졌습니다.
Ollama, LM Studio 등 도구 선택, 컨텍스트 길이(32k vs 128k) 고려 사항, 유사 사양 사용자들의 경험 공유를 요청했습니다.