在4× DGX Spark (GB10)上成功运行GLM-5.2 + MTP投机解码——并发现公开构建配方中缺失的组件
摘要
作者在4× DGX Spark (GB10)设备上成功运行了配备MTP投机解码的GLM-5.2，并揭示了公开构建配方中缺失的一个组件。
暂无内容
相似文章
后续：在四块DGX Spark上运行GLM-5.2 NVFP4——MTP谜题已解，现可在128K上下文下达到约24 tok/s
修复了vLLM中为四块DGX Spark配置GLM-5.2 NVFP4时的一个推测解码bug，解决了性能权衡问题，通过MTP4在128K上下文下实现了约24 tok/s。
GLM-5.2-Int4-Int8 在 8× GB10 上：约 1,200 t/s 预填充，33–54 t/s 平均解码
描述了在 8 节点 DGX Spark (GB10) 集群上使用定制 vLLM 分支部署和基准测试量化后的 GLM-5.2-Int4-Int8Mix 模型，实现了约 1,200 t/s 的预填充和约 35 t/s 的解码，支持 MTP 工具调用。
@Tech2Wild: 在家运行完整的GLM-5.2，744B参数，全部256个专家，未剪枝，跨4×NVIDIA DGX Spark (GB10)。200K上下文 · MTP …
一份详细的指南，介绍如何跨4个NVIDIA DGX Spark节点运行未剪枝的GLM-5.2模型（744B参数，256个专家），支持200K上下文，总吞吐量高达60.5 tok/s。包含性能基准测试、致谢和补丁。
在4台DGX Spark上运行4-bit量化GLM-5.2（753B MoE）：Terminal-Bench 2.1得分70.8%，完整模型为81.0%
在4台DGX Spark机器上运行4-bit量化版GLM-5.2（753B MoE），Terminal-Bench 2.1得分为70.8%，而完整模型为81.0%。
@Ex0byt: 更新：通往GLM-5.2之路：我们快到了，各位！未量化、未剪枝的DeepSeek-v4-Flash。单台……上11 tok/s
关于在单台DGX Spark上使用sglang推理和自定义mega-kernel以11 tok/s运行未量化的DeepSeek-v4-Flash模型的更新，正在向GLM-5.2迈进。