在4台GB10上运行GLM 5.2，配备100G交换机，330k上下文，~25 tok/s解码，~650 tok/s预填充

TP4+DCP2用于约360k的KV池。使用更长提示词时，预填充速度提高到900-1000 t/s。你还可以运行DCP4获得660k容量，但预填充会降到约400 t/s。去掉DCP可将预填充提高到约750 t/s。我运行4个草稿token，而Z.ai推荐5个。解码速度严重依赖于文本类型。思考类文本约20 tok/s，代码类25-35 tok/s。Pi中的典型对话回合给我约24 tok/s。将模型剪枝5-10%，可能让你获得1M上下文或更高的并发度，如果你需要的话。在我的日常使用中，10%的无数据剪枝似乎保留了模型的编码能力，但在细粒度上损失了一些对指令的遵循能力。我的硬件成本约1.6万美元。现在可能贵1-2千。2台Acer GN100，每台3799美元；2台Asus GX10，每台3499美元；1台Mikrotik CRS504，650美元；4条NADDOD QSFP56 DAC线缆，每条66美元（可替换为QSFP28用于CRS504）。从一般意义上说，这不算快或经济实惠，但它是可行的。而且我认为如果你想本地运行GLM，这比512GB Mac Studio更好，后者解码大概12 tok/s（受计算限制），预填充50 tok/s。下面是使用llama-benchy的基准测试结果，NL prose，所以比典型的代理工作流慢。 Depth Prefill (pp2048) Decode (tg512) 0 597.9 ± 6.4 21.7 ± 0.6 8k 602.6 ± 0.8 21.5 ± 0.8 32k 597.7 ± 0.2 21.8 ± 0.6 Pi中的短回合补丁和配方：https://github.com/CosmicRaisins/glm-5.2-gb10