在4台DGX Spark上运行4-bit量化GLM-5.2（753B MoE）：Terminal-Bench 2.1得分70.8%，完整模型为81.0%

Reddit r/LocalLLaMA 2026/07/08 20:08 模型

quantized 4-bit glm-5-2 moe inference benchmark dgx

摘要

在4台DGX Spark机器上运行4-bit量化版GLM-5.2（753B MoE），Terminal-Bench 2.1得分为70.8%，而完整模型为81.0%。

暂无内容

查看原文

相似文章

Reddit r/LocalLLaMA

用户询问在四个 Ascend GX10 或 DGX Sparks 上以 4 位量化运行 GLM-5.2 的可行性，想知道在 100k 上下文下的速度和内存情况。

Reddit r/LocalLLaMA

描述了在 8 节点 DGX Spark (GB10) 集群上使用定制 vLLM 分支部署和基准测试量化后的 GLM-5.2-Int4-Int8Mix 模型，实现了约 1,200 t/s 的预填充和约 35 t/s 的解码，支持 MTP 工具调用。

X AI KOLs Following

一份详细的指南，介绍如何跨4个NVIDIA DGX Spark节点运行未剪枝的GLM-5.2模型（744B参数，256个专家），支持200K上下文，总吞吐量高达60.5 tok/s。包含性能基准测试、致谢和补丁。

Reddit r/LocalLLaMA

bitsandbytes 的创造者 Tim Dettmers 正在预告一种新的量化方法，据报道该方法可以在单块 DGX Spark 上以 7 tokens/s 的速度运行 GLM 5.3，社区对此持谨慎乐观态度。

X AI KOLs Timeline

关于在单台DGX Spark上使用sglang推理和自定义mega-kernel以11 tok/s运行未量化的DeepSeek-v4-Flash模型的更新，正在向GLM-5.2迈进。