ASUS ROG Strix G16 노트북 사용자가 12GB VRAM·16GB DDR5 RAM 환경에서 로컬 LLM 호스팅을 시작했어요. Ternary-Bonsai-27B-gguf 모델을 통해 35~40 t/s의 성능을 달성했어요. 이미지 생성 또는 비디오 생성 모델을 로컬에서 사용하고 싶어 커뮤니티에 조언을 구하고 있어요.
Mix Studio와 같은 도구를 활용하여 이미지 편집 및 비디오 생성을 목표로 하고 있으며, 노트북 사양에 맞는 모델을 찾고 있어요. Reddit에서 Mix Studio를 발견하고 사용 편의성에 매력을 느꼈다고 언급했어요.
현재 로컬 LLM 호스팅 경험은 부족하지만, 커뮤니티의 도움을 받아 최적의 모델과 사용법을 찾고 싶어해요.