我的 GLM-5.2-FP8 HGX-H200 SGLang Docker 部署配置
摘要
一位用户分享他们使用SGLang在HGX-H200硬件上运行GLM-5.2-FP8模型的Docker部署配置,实现了262k上下文和70 tokens/s的推理速度。
大家好。标题已说明一切。目前,经过1-2小时的实验,这是我从当前硬件上能压榨出的最大性能。不,我不是土豪。这是我公司的GPU,只是分享一下我的经验。
docker run -d \
--name glm-5.2-sglang \
--restart unless-stopped \
--gpus all \
--shm-size 32g \
--ipc=host \
-v /data/models/glm-5.2:/model \
-p 30000:30000 \
lmsysorg/sglang:latest \
sglang serve \
--model-path /model \
--served-model-name glm-5.2 \
--host 0.0.0.0 \
--port 30000 \
--tp 8 \
--mem-fraction-static 0.83 \
--enable-metrics \
--reasoning-parser glm45 \
--tool-call-parser glm47 \
--cuda-graph-max-bs 256
Cookbook的flag,我没有使用:DP - 将每个分片的上下文限制在120k左右。我关闭了所有与之相关的内容,只使用纯TP。moe-a2a-backend deepep - 我不知道为什么,但它实际上降低了token/s。开启时约50t/s,关闭时约70t/s。mem-fraction-static 0.83 - 如果你尝试使用更高的值,肯定会OOM。结果是262k上下文和70t/s。所以,就是这样。如果有任何问题,请随时提问,我会尽力回答。另外,vLLM的官方配置在H200上不起作用。我猜是因为dsv3架构上的kv cache fp8量化。
相似文章
GLM-5.3-Flash @ DGX Station GB300: 约206 tokens/秒(单流),1M上下文
用户在DGX Station上对GLM-5.3-Flash AI模型进行基准测试,实现了约206 tokens/秒的单流推理速度,上下文窗口为100万,并分享了设置的Docker命令。
@0xSero:GLM-5.1-478B-NVFP4 跑在:4×RTX Pro 6000、SGLang,最大 37 万 token(1.75× 满上下文),p10 27.7 | p90 45…
一份 478B 参数的量化 GLM-5.1 模型在 4 块 RTX Pro 6000 上用 SGLang 运行,支持 37 万 token 上下文,解码最高 45 tok/s,预填充 1340 tok/s,并现场演示操控 Figma。
在4台GB10上运行GLM 5.2,配备100G交换机,330k上下文,~25 tok/s解码,~650 tok/s预填充
本文详细介绍了在4台GB10的配置上,使用100G交换机运行GLM 5.2,在330k上下文下实现约25 tok/s解码和约650 tok/s预填充。内容包括硬件成本、使用Depth Prefill的性能基准测试,以及关于为更长上下文进行模型剪枝的说明。
@Tech2Wild: 在家运行完整的GLM-5.2,744B参数,全部256个专家,未剪枝,跨4×NVIDIA DGX Spark (GB10)。200K上下文 · MTP …
一份详细的指南,介绍如何跨4个NVIDIA DGX Spark节点运行未剪枝的GLM-5.2模型(744B参数,256个专家),支持200K上下文,总吞吐量高达60.5 tok/s。包含性能基准测试、致谢和补丁。
@tolak_eth: 我想分享一下我们是如何避免每年花费约16万美元来托管拥有完整1M上下文的GLM-5.2。当GLM-5.2推出时……
Phala通过将MoE专家量化至4位并保留关键部分为FP8/BF16,在单个8×H200节点上实现了与FP8基线相同的基准测试结果,从而避免了每年16万美元的GLM-5.2完整1M上下文托管成本,并在Hugging Face上发布了优化后的模型GLM-5.2-W4AFP8。