Felix_455-788 사용자가 i7-8750H, 20GB RAM, GTX 1050 4GB VRAM 사양의 저사양 노트북에서 100B+ LLM을 실행하는 경험을 공유했어요.
삼성 NVMe와 mmap, MoE 모델 활용, Quantized KV Cache (Q4_0) 및 Q3 양자화 기법을 통해 DeepSeek-V4-Flash, Nemotron-3 모델을 활용하며 토큰/초 1.0~2.5 속도를 기록했어요.
코드 리버스 엔지니어링, 버그 수정, 코드 감사 등 작업에 배치 스타일로 활용하며, 제한된 환경에서 큰 모델을 사용하는 방법을 공유하고 성능 향상을 위한 조언을 구하고 있어요.