这下真的舒服了，本地 70 tps 跑 GLM 5.2 几乎满血版！https://huggingface.co/madeby561/GLM-5.2-MXFP8-NVFP4-NF3-Hybrid

madeby561/GLM-5.2-MXFP8-NVFP4-NF3-Hybrid · Hugging Face

来源：https://huggingface.co/madeby561/GLM-5.2-MXFP8-NVFP4-NF3-Hybrid

https://huggingface.co/madeby561/GLM-5.2-MXFP8-NVFP4-NF3-Hybrid#glm-52-mxfp8-nvfp4-nf3-hybridGLM-5.2-MXFP8-NVFP4-NF3-Hybrid

⚠️可用 — 但请注意风险。只能通过下面的自定义 serving 镜像加载（内部 NF3 3-bit 内核——没有官方 vLLM/推理栈支持它）。在 4× 96GB sm120 GPU 上服务，≈307k 令牌 KV 缓存，DCP4 模式（是之前 fp8 版本的 2.44 倍）——可运行约 118k 上下文并保留并发余量，或单流运行约 240k。不是官方模型的 1M，也不受官方支持。

完整的 GLM-5.2 —— 753B，每层 256 个专家，全部保留，没有剪枝，运行在 4× 96GB GPU 上。高频专家使用来自 lukealonso/GLM-5.2-NVFP4 (https://huggingface.co/lukealonso/GLM-5.2-NVFP4) 的 NVFP4 字节精确量化（感谢 Luke 提供最佳的、低 KL 散度的 4-bit 方案）；长尾部分采用NF3 —— 我们自研的 3-bit 专家格式，配有定制 sm120 内核。非专家层（注意力/密集/共享层）采用MXFP8（OCP 微缩放 FP8，从 BF16 原始模型构建）—— 原生服务，加载时无需反量化，这正是获得大 KV 缓存的原因。总计约 327 GB —— 这是唯一能在 4 张卡上容纳 GLM-5.2 并拥有 DCP4 模式下约 307k 令牌 KV 池的版本。

https://huggingface.co/madeby561/GLM-5.2-MXFP8-NVFP4-NF3-Hybrid#accuracy精度

采用与参考卡片相同的评估协议（温度 1.0，top_p 0.95，最大推理努力）。GPQA-Diamond 数据来自这个精确的检查点；其余指标尚未运行。

解读： 在 GPQA-Diamond 上，本混合精度模型得分 88.38（175/198）—— 与全精度 FP8/NVFP4 相差约 1 分（2 道题），即在该样本量下统计上相当，同时比 REAP-594B 剪枝版高出约 1.5 分。这正是本次构建的核心意义：保留全部 256 个专家并以混合精度运行，在与剪枝专家相比时，保持同等精度且准确率明显更高。基线数据来自 nvidia/GLM-5.2-NVFP4 卡片。

https://huggingface.co/madeby561/GLM-5.2-MXFP8-NVFP4-NF3-Hybrid#output-drift-vs-fp8-kld相对于 FP8 的输出漂移（KL 散度）

本模型下一令牌分布相对于官方 FP8 模型的偏离程度 —— 一种相似度度量，并非质量排名（两个同等优秀的模型仍然会有差异）。数值越低表示越接近 FP8。Prefill 阶段 KL，1.05M 位置，top-8192 支持。

注意参考基准。 此表是相对于FP8的漂移。不是相较于BF16的漂移（后者用于 rtx6kpro wiki (https://github.com/local-inference-lab/rtx6kpro/blob/master/models/glm5.2_v12.md)，其中 FP8 本身约为 0.079，Luke 约为 0.068）—— 基线不同，请不要跨表比较。

简单解读：我们的输出相比 FP8 的漂移略高于最好的 4-bit 量化版本，但我们是唯一能在四张卡上运行的版本。在实践中，模型在约 99.98% 的情况下选择的下一个令牌与 FP8 完全相同（JS 散度 0.035）；漂移主要体现在近乎平局的置信度上。Rev 3 保留了 rev 2 的字节精确的专家层，仅将约 8-bit 的非专家层从 fp8 更换为 mxfp8；其漂移测量为 0.177，而 rev 2 为 0.172 —— 增加的 0.005 仅仅是 mxfp8 层与 FP8 格式的微小偏差（这是相对于 FP8 的伪影，而非质量变化：GPQA 得分仍为 88.38）。

https://huggingface.co/madeby561/GLM-5.2-MXFP8-NVFP4-NF3-Hybrid#serving服务部署

即用镜像 —— 包含 NF3 内核、混合加载器、原生 mxfp8 层以及高并发索引器修复（基于 2026-07-04 eldritch 基础镜像）： madeby561/vllm-glm52-nvfp4-nf3-hybrid:v2 (https://hub.docker.com/r/madeby561/vllm-glm52-nvfp4-nf3-hybrid)。本仓库中的 docker-compose.yml 是确切的 serving 配置：

hf download madeby561/GLM-5.2-MXFP8-NVFP4-NF3-Hybrid --local-dir ./glm52-mxfp8
MODEL_DIR=./glm52-mxfp8 docker compose up

需要 4× 96GB sm120 GPU + 约 64GB RAM。支持 MTP-5 / DCP4，拥有约 301k 令牌 KV 池（原生 mxfp8 层）。Compose 配置中已包含 --max-model-len 240000，因此你可以实际使用长上下文 —— 一次约 240k 请求会填满整个池；对于较短的请求可以降低此值以获得更多并发。启动时间约 3 分钟（fastsafetensors）。单流解码约 60-90 t/s（取决于内容）；8-48 并发时集合速度约 250-600 t/s。

由 madeby561 构建 —— 旨在回答一个问题：一个四卡设备能否运行完整模型而不进行任何性能阉割？在 GPQA-Diamond 上，答案是肯定的。