사용자가 vLLM-Moet를 활용해 단일 RTX 6000 Pro에서 Deepseek V4 Flash를 실행하는 방법을 공유했어요. 이 방법은 128K 컨텍스트를 지원하며, 150GB RAM이 필요해요.
개발자가 라우팅된 전문가를 2비트로 압축하여 작은 VRAM에 맞추는 기술을 사용했어요. 이를 통해 GLM 5.2도 실행 가능해요.
tg32, ctx_tg, ctx_pp 등 다양한 테스트에서 성능을 측정했는데, 초기 설정값 최적화가 더 필요해 보여요.