@AlpinDale: GLM-5.2-FP8在4个节点的4090-48GB上运行，解码速度约28 tok/s。这些节点通过以太网的互连速度为10吉比特……
摘要
AlpinDale称，在4个节点的RTX 4090（48GB）上运行GLM-5.2-FP8，通过10吉比特以太网实现约28 tok/s的解码速度，并计划使用DSpark进行优化。
查看缓存全文
缓存时间: 2026/07/09 17:39
GLM-5.2-FP8 在4台4090-48GB节点上运行，解码速度约28 tok/s。节点间通过以太网实现10千兆互连，所以性能本可以更好。我也正在尝试让DSpark配合这款模型运行，希望能进一步改善。https://t.co/vinnhxbQsK
相似文章
@Tech2Wild: 在家运行完整的GLM-5.2，744B参数，全部256个专家，未剪枝，跨4×NVIDIA DGX Spark (GB10)。200K上下文 · MTP …
一份详细的指南，介绍如何跨4个NVIDIA DGX Spark节点运行未剪枝的GLM-5.2模型（744B参数，256个专家），支持200K上下文，总吞吐量高达60.5 tok/s。包含性能基准测试、致谢和补丁。
GLM-5.2 UD-IQ1_M 在 llama.cpp 上的运行 — 5090 + 3090 Ti 速度测试 (~ 579 t/s 预填充 @ 8k 上下文, ~324 t/s 预填充 @ 57k 上下文, ~10.6 t/s 解码)
GLM-5.2 在 llama.cpp 上使用 RTX 5090 和 RTX 3090 Ti 运行的速度测试结果，显示在 8k 上下文中预填充速度高达 579 t/s，解码速度约为 10.6 t/s。
在4台GB10上运行GLM 5.2，配备100G交换机，330k上下文，~25 tok/s解码，~650 tok/s预填充
本文详细介绍了在4台GB10的配置上，使用100G交换机运行GLM 5.2，在330k上下文下实现约25 tok/s解码和约650 tok/s预填充。内容包括硬件成本、使用Depth Prefill的性能基准测试，以及关于为更长上下文进行模型剪枝的说明。
@aliez_ren: 这下真的舒服了，本地 70 tps 跑 GLM 5.2 几乎满血版！ https://huggingface.co/madeby561/GLM-5.2-MXFP8-NVFP4-NF3-Hybrid…
通过混合精度（MXFP8、NVFP4、NF3）量化，在4张96GB GPU上本地运行GLM-5.2（753B参数）几乎满血版，精度接近原始FP8，吞吐量达到70 tps。
GLM5.2 @7tg 在预算主板+CPU上使用4x3090+192GB
在预算配置下，使用4块RTX 3090 GPU和192GB内存运行GLM5.2，处理7万亿tokens。