@no_stp_on_snek:同样的两块 GB10。GLM-5.3-Flash,两套技术栈。各进行一次流式调用,温度 0.2,384 tokens,提示词约 3.7k tokens…
摘要
两套社区推理栈在同一对 NVIDIA DGX Spark 上运行 320B GLM-5.3-Flash 的对比测试,比较 Entrpi 的 EXL3 方案与使用 DFlash2 草稿模型的 TensorFold 在文本、代码及预填充负载下的表现。
查看缓存全文
缓存时间: 2026/10/01 02:16
同样的两台 GB10。GLM-5.3-Flash,两套堆栈。各做一次流式调用,temperature 0.2,384 token,提示词约 3.7k token。Entrpi 的套件装在 Brandon 的 K4 上,外加实验室的 MXFP8 草稿器:https://github.com/Entrpi/glm-5.3-flash-exl3-2x-spark… https://huggingface.co/brandonmusic/GLM-5.3-Flash-tr3-4bpw… https://huggingface.co/local-inference-lab/GLM-5.3-Flash-DFlash2… TensorFold 配 neko-legends 的 EXL3 和 incoai 的 DFlash2:https://github.com/jayleaton/glm53-tensorfold-spark… https://huggingface.co/neko-legends/GLM-5.3-Flash-Uncensored-EXL3… https://huggingface.co/incoai/GLM-5.3-Flash-DFlash2… 纯散文解码方面,Entrpi 为 27.4 tok/s,TensorFold 为 35.8。代码任务在低推理模式下分别是 53.6 和 36.3。代码任务在满推理模式下分别是 62.7 和 44.6。散文提示词的 prefill 分别为 1,369 tok/s 和 1,342。代码提示词则为 1,306 和 1,364。上下文容量方面,Entrpi 为 524,288,TensorFold 为 1,048,576。纯散文场景和上下文窗口归 TensorFold。代码场景保留在 Entrpi,因为那个草稿器每步接受的 token 更多,约 6.5 个,推理拉满后约 7.4 个。检查点不同,所以差距来自堆栈和量化两方面。
Entrpi/glm-5.3-flash-exl3-2x-spark
来源:https://github.com/Entrpi/glm-5.3-flash-exl3-2x-spark
GLM-5.3-Flash EXL3:在两台 DGX Spark 上运行
在一对 NVIDIA DGX Spark 台式机上运行 GLM-5.3-Flash(https://huggingface.co/zai-org/GLM-5.3-Flash)——一个 3200 亿参数的开源模型——将其作为私有、兼容 OpenAI 的 API 提供服务。一个安装脚本、一次大体积下载,就能让你在自己的硬件上跑起前沿量级的模型:130 万 token 的上下文内存(启用紧凑内存选项时为 170 万),全质量,支持视觉、工具调用,质量与官方发布版持平。
状态:社区衍生版本。 并非任何上游项目的官方镜像。由 Entrpi(https://github.com/Entrpi)构建并维护;遇到问题请先在本仓库的 issue 追踪器(https://github.com/Entrpi/glm-5.3-flash-exl3-2x-spark/issues)报告,再转交上游。
你能得到什么
| 模型 | GLM-5.3-Flash,3200 亿参数(每个 token 激活 180 亿),由 4-bit EXL3 检查点提供服务,独立实测与官方 FP8 发布版质量持平 |
| 上下文内存 | 全质量下 1,287,194 token 的注意力内存,所有在飞请求共享;启用紧凑内存选项为 1,702,584(质量小幅下降);1M 请求模式下为 2,144,814。单请求上限由标志位(MAX_LEN,默认 524,288:约等于同时跑 2.5 个这样的请求,或者更多较短的请求)决定 |
| 速度 | 单轮对话约 32 token/s,结构化输出(JSON、列表、代码)70+ token/s,首 token 约 0.4 秒;一份 50 万 token 的文档约 6.5 分钟读完 |
| 质量 | math_500 91%,GPQA-diamond 70%,从 133k token 文档中精确检索 10/10,全部在本环境上实测 |
| 模态 | 文本、图像、工具调用、可选的可见推理 |
| API | 兼容 OpenAI(/v1/chat/completions、/v1/models),可配合任意 OpenAI 客户端使用 |
| 硬件 | 2× DGX Spark(GB10,每台 128 GiB),通过 200GbE 端口互联 |
以上每个数字都是实测而非估算;下方的表格会说明测法。
快速开始
你需要两台通过 QSFP 端口直连的 DGX Spark,两台都装好支持 GPU 的 Docker,并且从将要提供 API 的那台机器(头节点)到另一台(工作节点)要有免密 SSH。
在头节点上:
``bash git clone https://github.com/Entrpi/glm-5.3-flash-exl3-2x-spark cd glm-5.3-flash-exl3-2x-spark cp .env.example .env # 填写 worker 的局域网地址和两条 rail 的 IP/网卡 ./install.sh
安装脚本会检查两台机器,拉取约 25 GiB 的服务镜像,下载约 176 GiB 的模型和约 1.3 GiB 的草稿器,安装启动脚本,先后启动 worker 和 head,预热,并发起一次测试请求。每一步都可以安全地重复执行。首次运行主要耗时在下载;之后一次重启到 API 上线约需四分钟。
``bash
./install.sh --nfs # 权重只放在 worker 上(head 需要约 30 GiB 磁盘)
./install.sh --skip-download # 权重已就位
./install.sh --help # 列出所有选项以及脚本具体动了什么
然后就可以和它对话:
``bash curl -s http://:8000/v1/chat/completions -H ‘Content-Type: application/json’ -d ‘{ “model”: “glm-5.3-flash”, “messages”: [{“role”: “user”, “content”: “Summarize the attached contract in five bullets.”}] }’
任何 OpenAI SDK 都可以配合 `base_url="http://:8000/v1"` 和模型名 `glm-5.3-flash` 使用。
### 环境要求
| | |
|---|---|
| 机器 | 2× DGX Spark(GB10,每台 128 GiB 统一内存) |
| 链路 | 两个 QSFP 端口之间的 200GbE 直连;两台机器之间只走这条链路 |
| 磁盘 | 每台约 200 GiB 可用(使用 `--nfs` 时为 worker 约 200 GiB、head 约 30 GiB) |
| 软件 | 两台都装带 NVIDIA runtime 的 Docker;head → worker 免密 SSH |
| Swap | 默认加载器不需要;若切换到 page-cache 加载器,先将两台机器的 swap 扩到 32 GiB(安装脚本会提示) |
| 可用内存 | 启动前每台机器的系统内存占用需低于 6 GB(无桌面会话的无头机器);安装脚本和启动脚本都会检查,不通过就拒绝启动并列出占用者。`MEM_USED_MAX_GB=` 可以调高限制,`0` 关闭检查(安装脚本上加 `--force` 会降级为警告);在更繁忙的机器上,调小 `KV_CACHE_MEMORY` 是更稳妥的方案 |
## 使用模型
**推理默认关闭**,因此回答以纯内容形式返回。按请求开启后,推理过程会放在 `message.reasoning` 中返回,绝不会混进回答里:
``json
{"model": "glm-5.3-flash", "messages": [...], "chat_template_kwargs": {"enable_thinking": true}}
工具调用遵循 OpenAI 的 tools / tool_choice schema,推理开启或关闭均可使用。
图像以标准的 image_url content part 传入。
贪婪解码(temperature: 0)完全支持,下方的质量数据即采用此设置。
长文档。 133k token 的提示词约 90 秒处理完,500k token 的约 6.5 分钟。同一文档上的多轮对话会复用已完成的工作:在 15k token 的对话中追问,约 3 秒即可回答,而非 12 秒。
容量。 真正限制你的是注意力内存池——默认质量下 1,287,194 token,由所有在飞请求共享;单请求上限(MAX_LEN,默认 524,288)只是限定单个请求最多能占用多少。默认配置最多允许四个请求同时进行,聚合吞吐随并发提升(四个对话并发约 47 token/s)。若要跑大量短并发会话,或需要 1M token 的请求,请参考下方的配置。
如何选择配置
默认值就是经过验证的生产配置。其余配置都是在两台机器的 .env(或启动命令行)中设置的环境变量。按你的服务场景来选:
| 你主要需要 | 设置 | 你会得到 | 你会失去 |
|---|---|---|---|
| 长文档,少量用户(默认) | 不用设置 | 1,287,194 token 的全质量内存池;请求上限 524k(同时跑 2.5 个,或更多较短请求);最快的单流解码 | — |
| 别人在传文档时还能爽快聊天 | MIXED_PREFILL_DECODE_WEIGHT=1.0 MIXED_PREFILL_CAP=512 | 对话进行时仍保持 85–91% 的速度,同时冷启动处理 100k token 的上传,停顿约 0.6 秒而非约 3 秒 | 聊天进行期间文档处理慢 20–35%;空闲时无代价 |
| 更多上下文内存 | KV_DTYPE=nvfp4_ds_mla VLLM_NVFP4_MLA_DYNAMIC_SCALE=1 | 1,702,584 token 的池(+32%):524k 请求可跑 3.25 个 | 质量小幅下降(math 88 vs 91) |
| 1M token 请求 | 上一行配置外加 MAX_LEN=1048576 MNBT=4096 | 2,144,814 token 的池;请求上限 1,048,576 token,同时可跑两个;875k 深度下精确检索已验证 | 读完整 1M token 提示词约需 15 分钟 |
| 大量并发短会话(智能体、批处理任务) | MAX_LEN=131072 MAX_SEQS=12 MNBT=4096 SPEC=none MIXED_PREFILL_DECODE_WEIGHT=1.0 MIXED_PREFILL_CAP=512 | 12–16 条流,聚合 88–103 token/s;关闭草稿器后,在同等内存预算下池增至 1,858,451 token(+44%),其 1.3 GB 权重也不再加载 | 单流速度;请求上限 131k |
| 未量化的注意力内存 | MAX_LEN=131072 KV_DTYPE= ATTN_BACKEND= SKIP_MM_PROFILING=0 MAX_SEQS=6 | 520,470 token 的池,无 8-bit 注意力内存;请求上限 131k | 长请求受限;质量在噪声范围内相同 |
| 投机草稿器出问题时的兜底方案 | MTP=4 | 模型内置的多 token 头;1.3 GB 的草稿器及其草稿注意力内存不会加载,池容量会向上面无投机配置的数字靠拢(本次发布的 MTP-4 精确池容量未重新测量) | 解码速度约慢 20% |
上表用到的参数:MAX_LEN 是接受的最长请求;MAX_SEQS 是同时运行的请求数;MNBT 是读取文档时每步处理的提示词 token 数(数值越小对话越平稳,数值越大读取越快);SPEC=none 关闭投机草稿器;KV_DTYPE 选择注意力内存格式;两个 MIXED_PREFILL_* 参数控制文档读取和实时对话如何共享 GPU。
上下文的内存预算(KV_CACHE_MEMORY,14.4 GB)和 GPU 显存占比(GMU,0.85)已在上述各种配置下、在服务器启动前系统内存占用低于 6 GB 的轻负载无头 Spark 上验证过稳定性;之后 head 约剩 1–3 GB 余量。DGX Spark 的统一内存在超配时不会优雅失败,因此常驻服务更多、有桌面会话或固件状态不同的机器可能需要更小的预算:调低 KV_CACHE_MEMORY(每 1 GB 约对应 9 万池 token),在提高任何数值前用 tools/memlog.sh 检查余量。
运维操作
| 任务 | 方法 |
|---|---|
| 健康检查 | curl -s http://:8000/health → 200 |
| 日志 | 任一台机器上 docker logs -f vllm_glm53 |
| 重启 | head 上先 docker rm -f vllm_glm53,再在 worker 上 ~/launch-glm53-vllm-tp2.sh 1,最后在 head 上 ~/launch-glm53-vllm-tp2.sh 0(始终先关 head、先启 worker;到 API 上线约 4 分钟) |
| 预热 | 重启后执行 ~/glm53-warmup.sh 编译热路径形状,使首个真实请求免去约 7 秒的编译开销 |
| 更新 | 再次运行 ./install.sh 会拉取当前镜像;若要固定某个版本,在两台机器的启动配置中设置 IMAGE=ghcr.io/entrpi/glm-5.3-flash-exl3-2x-spark: |
| 回滚 | ./install.sh --rollback 会在两台机器上恢复上一版的文件并重新启动(安装脚本在每次升级时都会保留它们)。手动方式:两台的启动配置均设 IMAGE=ghcr.io/entrpi/glm-5.3-flash-exl3-2x-spark:v2.2-ring VLLM_USE_B12X_FP8_GEMM=0 VLLM_DFLASH_FP8_DRAFT_HEAD=0 |
| 检查是否有更新 | ./install.sh --check-update(或 --version 查看当前安装版本)。启动脚本每天启动时也会检查一次,若存在更新版本会打印一行;在 .env 中设置 GLM53_NO_UPDATE_CHECK=1 可关闭 |
| 单机配置 | ~/.glm53-serve.env(每次安装时从 .env 写入,所以请把改动留在 .env 里);命令行变量始终优先 |
| 从更早的版本升级 | git pull,然后 ./install.sh。在执行任何操作前,它会展示:你当前的版本与将要得到的版本、下载内容、服务配置的差异、遗留物(被取代的镜像、旧的 2.3 GiB 草稿器目录),以及关于过时 .env 设置的提示,例如 IMAGE= 固定值或已弃用的键;--yes 跳过询问。新版本未能启动时会自动保留并恢复上一版(--no-rollback 会保留失败的启动以供调试)。启动成功后,它会询问是否清理更早版本的遗留物(被取代的镜像,每台机器各约 18 GiB,以及旧的 2.3 GiB 草稿器目录);--remove-old / --keep-old 可免去提示直接作答。来自 v1 的热修复覆盖目录(~/glm53-hotfix*)会使安装脚本中止,需先移开 |
| 验证镜像 | bash scripts/check_image.sh(自包含性)和 bash scripts/run_tests.sh(镜像内 87 个单元测试;请在 GPU 空闲时运行) |
实测性能
单请求、贪婪解码、默认配置下测得。每个数字为五次 400 token 运行的中位数;区间表示运行间的波动(草稿器根据模型选用的确切措辞接受或多或少的 token,因此同一提示词的两次运行相差几个百分点):
| 负载 | tokens/s | 运行间区间 |
|---|---|---|
| 散文,问答 | 30 | 29–32 |
| 代码 | 42 | 41–43 |
| JSON | 51 | 50–52 |
| 数学 | 45 | 41–50 |
| 结构化输出(列表、计数) | 71 | 70–72 |
| 首 token(短提示词) | 0.3–0.4 秒 | |
| 读取文档 | 133k 时 1,490 tokens/s;跨完整 499k 上下文 1,277 tokens/s |
速度取决于文本的可预测性:模型运行一个小型草稿器,每步最多提议七个 token,然后保留完整模型认可的部分,因此重复性或结构化输出比自由散文快两到三倍。温度和推理模式不会改变这一行为。
多个请求同时进行,每个带各自的 16k token 提示词,全部同时提交(低可预测性的合成文本,因此单请求解码低于上表的散文数字)。这里的首 token 时间包含等待其他提示词被读取的时间;空闲服务器上的短提示词约 0.4 秒即答。
在本版本上以 MAX_SEQS=10 测得,使全部十个请求都能被接纳:
| 并发请求数 | 解码,聚合 tokens/s | 单请求解码 | 首 token 时间,中位数 / 最后一个 | 提示词读取,聚合 tokens/s |
|---|---|---|---|---|
| 1 | 21.6 | 21.6 | 9.9 秒 / 9.9 秒 | 1,598 |
| 5 | 60.7 | 10.2 | 38.7 秒 / 53.2 秒 | 1,494 |
| 10 | 77.0 | 7.6 | 65.1 秒 / 101.2 秒 | 1,575 |
智能体配置(无草稿器,12–16 条流)在 8k token 上下文下聚合可达 88–103 token/s。
各配置的上下文容量(可用注意力内存的 token 数,以及同时容纳多少个最大长度请求):
| 配置 | 池(token) | 同时容纳的全长请求数 |
|---|---|---|
| 默认(524k) | 1,287,194 | 2.46 |
| NVFP4 注意力内存(524k) | 1,702,584 | 3.25 |
| 原生 1M | 2,144,814 | 2.05 |
| 131k,未量化注意力内存 | 520,470 | 3.97 |
实测质量
贪婪解码、本地测试框架、稳健的答案抽取,默认配置下:
| 测试 | 结果 |
|---|---|
| math_500(n=100) | 91% |
| GPQA-diamond(n=50) | 70% |
| 从 133,186 token 文档中检索(n=10) | 10/10 |
| 长文档账目审计(n=30,精确 / 接近 / 失败) | 15 / 14 / 1 |
| 投机解码等价性 | 在 argmax 并列之前无损(tools/dflash_equiv.py) |
| 工具调用与图像输入 | 已端到端验证 |
一个独立的 KL 散度面板显示,4-bit 权重与官方 FP8 发布版质量持平;上述数学和检索门槛与同一模型在同一硬件上使用未量化注意力内存的运行持平。
横向对比
MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks(https://github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks)在同一硬件上通过不同的引擎提供同一模型的服务。在其自有的基准协议下(原封不动内置于 scripts/bench_decode_miaai.py):
| 本方案 | MiaAI(公开数据) | |
|---|---|---|
| 结构化输出,tokens/s | 74.7(74.1–76.5) | 61.7–62.9 |
| 散文,tokens/s | 31.1(30.7–32.0) | 26.9 |
| 首 token | 0.43–0.46 秒 | 约 0.72 秒 |
| 同等精度下的注意力内存 | +46% | — |
两个项目独立得出了同样的三项关键修复;差异在于引擎血统、内存格式,以及每个请求保留多少可用上下文。完整分析见 docs/COMPARISON.md。
工作原理
两台 Spark 分
相似文章
GLM-5.3-Flash @ DGX Station GB300: 约206 tokens/秒(单流),1M上下文
用户在DGX Station上对GLM-5.3-Flash AI模型进行基准测试,实现了约206 tokens/秒的单流推理速度,上下文窗口为100万,并分享了设置的Docker命令。
GitHub - icryo/GLM-Tandem:在两台 Mac Studio 上以张量并行方式运行 GLM-5.3-Flash:生成全新文本时约为 140 tokens/s
GLM-Tandem 是 GitHub 上的一套部署方案,通过 Thunderbolt 5 RDMA,采用拆分张量并行,在两台 Mac Studio(均搭载 M5 Ultra,各配备 256 GB 内存)上提供 GLM-5.3-Flash 推理服务。该方案基于原版 mlx_lm.server,结合模型的 MTP 头进行推测解码,并使用自定义融合内核和 oMLX 的集群加载器,在生成全新文本时达到约 140 token/秒,同时提供 OpenAI 风格的 API。
@Tech2Wild: 在家运行完整的GLM-5.2,744B参数,全部256个专家,未剪枝,跨4×NVIDIA DGX Spark (GB10)。200K上下文 · MTP …
一份详细的指南,介绍如何跨4个NVIDIA DGX Spark节点运行未剪枝的GLM-5.2模型(744B参数,256个专家),支持200K上下文,总吞吐量高达60.5 tok/s。包含性能基准测试、致谢和补丁。
GLM-5.2-Int4-Int8 在 8× GB10 上:约 1,200 t/s 预填充,33–54 t/s 平均解码
描述了在 8 节点 DGX Spark (GB10) 集群上使用定制 vLLM 分支部署和基准测试量化后的 GLM-5.2-Int4-Int8Mix 模型,实现了约 1,200 t/s 的预填充和约 35 t/s 的解码,支持 MTP 工具调用。
Swift 1.5 跑在 veloGB10 上,2× DGX Spark 约 110 tok/s:xhigh 在 vLLM 上比 medium 档的原版 Flash-Next 还快
将 Swift 1.5(UkisAI 对 Qwen3.8-Flash-Next 的推理高效微调版)跑在 sf-stav 的 veloGB10 Rust/CUDA 引擎上,配合 2× DGX Spark 可达到约 110 tok/s 的解码速度,使得 xhigh 推理强度的完成速度超过了旧 vLLM NVFP4 配置下 medium 档的原版 Flash-Next——文中还提供了一个仅改 safetensors 头部信息的修复方案,使 14 个社区 EXL3 包中有 12 个能正常加载,因为当前 exllamav3 将 n-gram 表写成 128 个分片,而 velo 无法读取。