我的 GLM-5.2-FP8 HGX-H200 SGLang Docker 部署配置

Reddit r/LocalLLaMA 工具

摘要

一位用户分享他们使用SGLang在HGX-H200硬件上运行GLM-5.2-FP8模型的Docker部署配置,实现了262k上下文和70 tokens/s的推理速度。

大家好。标题已说明一切。目前,经过1-2小时的实验,这是我从当前硬件上能压榨出的最大性能。不,我不是土豪。这是我公司的GPU,只是分享一下我的经验。 docker run -d \ --name glm-5.2-sglang \ --restart unless-stopped \ --gpus all \ --shm-size 32g \ --ipc=host \ -v /data/models/glm-5.2:/model \ -p 30000:30000 \ lmsysorg/sglang:latest \ sglang serve \ --model-path /model \ --served-model-name glm-5.2 \ --host 0.0.0.0 \ --port 30000 \ --tp 8 \ --mem-fraction-static 0.83 \ --enable-metrics \ --reasoning-parser glm45 \ --tool-call-parser glm47 \ --cuda-graph-max-bs 256 Cookbook的flag,我没有使用:DP - 将每个分片的上下文限制在120k左右。我关闭了所有与之相关的内容,只使用纯TP。moe-a2a-backend deepep - 我不知道为什么,但它实际上降低了token/s。开启时约50t/s,关闭时约70t/s。mem-fraction-static 0.83 - 如果你尝试使用更高的值,肯定会OOM。结果是262k上下文和70t/s。所以,就是这样。如果有任何问题,请随时提问,我会尽力回答。另外,vLLM的官方配置在H200上不起作用。我猜是因为dsv3架构上的kv cache fp8量化。
查看原文

相似文章