Marzukia 사용자가 Mac Studio (96GB)에서 Qwen3.5 122B 모델 세션을 동시 처리하는 방법을 공유했어요. GPU 재계산 없이 93.8%의 토큰을 온디스크 KV 캐시에서 가져와 성능을 최적화했어요. Gated DeltaNet KV 캐시 저장 및 스마트한 제거 전략을 구현하여 메모리 제약 극복했어요. qMLX 엔진을 포크하여 콜드 캐싱을 극대화하는 방식으로 작동해요.
세션당 GPU 작업량 1/3 수준으로 줄여, 세 개의 채팅을 하나의 GPU 작업량으로 처리하는 데 성공했어요. 현재는 프론티어 오케스트레이터와 qMLX 워커를 사용하여 테스트 중이며, 놀라운 성능을 보여주고 있어요.
qMLX는 핫 캐시 경로를 제거하고 SSD에서 복원하는 방식으로 작동하여 요청을 순차적으로 처리하여 동시성을 달성해요. 이를 통해 로컬 모델에서 서브 에이전트를 실행할 수 있게 되었어요.
온디스크 KV 캐시를 활용하여 GPU 부하를 줄이고, Mac Studio의 메모리 제약에도 불구하고 Qwen3.5 122B 모델을 효율적으로 운영하는 방법을 제시했어요.