GLM 5.2 在 4 个 Sparks 上运行是否合理？
摘要
用户询问在四个 Ascend GX10 或 DGX Sparks 上以 4 位量化运行 GLM-5.2 的可行性，想知道在 100k 上下文下的速度和内存情况。
GLM-5.2 显然是一个非常优秀的模型，我想知道它在四个 Ascend GX10 / DGX Sparks 上的运行速度如何。网上完全找不到相关数据。难道不能在 4*128=512GB 的统一内存上运行 4 位量化吗？例如在 100k 上下文下，提示处理和输出 token/秒会是多少？
相似文章
在4台DGX Spark上运行4-bit量化GLM-5.2（753B MoE）：Terminal-Bench 2.1得分70.8%，完整模型为81.0%
在4台DGX Spark机器上运行4-bit量化版GLM-5.2（753B MoE），Terminal-Bench 2.1得分为70.8%，而完整模型为81.0%。
@TheAhmadOsman: Luke Alonso 已上传了一个 NVFP4 量化版本的 GLM 5.2，大小为 467GB，可适配 4 块 DGX Sparks（约 2 万美元）
Luke Alonso 上传了一个 NVFP4 量化版本的 GLM 5.2（467GB），可适配 4 块 DGX Sparks 硬件，成本约 2 万美元。
后续：在四块DGX Spark上运行GLM-5.2 NVFP4——MTP谜题已解，现可在128K上下文下达到约24 tok/s
修复了vLLM中为四块DGX Spark配置GLM-5.2 NVFP4时的一个推测解码bug，解决了性能权衡问题，通过MTP4在128K上下文下实现了约24 tok/s。
考虑入手4块Ascend GX10
一位用户考虑购买四块Ascend GX10来运行GLM5.2，提到性能数据：提示处理400-500 tok/s，128k上下文下输出约15 tok/s，并计划用于未来的开源模型。
GLM-5.2-Int4-Int8 在 8× GB10 上：约 1,200 t/s 预填充，33–54 t/s 平均解码
描述了在 8 节点 DGX Spark (GB10) 集群上使用定制 vLLM 分支部署和基准测试量化后的 GLM-5.2-Int4-Int8Mix 模型，实现了约 1,200 t/s 的预填充和约 35 t/s 的解码，支持 MTP 工具调用。