사용자가 4xGB10 환경에서 GLM 5.2 모델을 330k 컨텍스트로 실행하는 데 성공했어요. 100G 스위치를 사용해 토큰 생성 속도는 초당 25개, 토큰 처리 속도는 초당 650개로 측정됐어요. 모델을 5~10% 가지치기하면 1M 컨텍스트 이상을 지원하거나 동시성을 높일 수 있다고 설명해요.
DCP4를 사용하면 660k 컨텍스트를 지원하지만, 사전 채우기 속도가 감소하는 반면 DCP를 줄이면 사전 채우기 속도가 향상돼요. Pi에서의 일반적인 대화는 초당 24개의 토큰으로 처리되며, 코드의 경우 초당 25~35개의 토큰으로 처리돼요.
하드웨어 비용은 약 16,000달러로, 현재는 1,000~2,000달러 더 필요하며, 512GB Mac Studio보다 GLM을 로컬에서 실행하는 데 더 나은 선택이라고 평가했어요. 관련 패치와 레시피는 GitHub에서 확인할 수 있어요.