사용자가 7950x, 128GB DDR5, RTX 4090, RTX 3090Ti 등 고사양 하드웨어를 보유하고 있지만 Qwen3.6 27B 모델을 llama.cpp로 실행할 때 DDR5 RAM 활용이 미흡하다는 문제점을 토로했어요.
현재 환경에서 122B A10B 모델 등 더 큰 모델을 실행하기 어렵고, 현재 모델 외에 더 나은 대안이 있는지 궁금해하고 있어요.
고사양 하드웨어의 성능을 최대한 활용할 수 있는 모델이나 방법을 찾고 있는 사용자들의 고민을 보여줍니다.