@0xSero：终于搞定 GLM-5.1-505B-REAP-NVFP4，解码 45 tokens/s，预填充 1350 tokens/s，剪枝 32%，这是我跑通过最费劲的一次…

X AI KOLs Timeline 2026/04/20 21:46 新闻

glm-5.1 inference-optimization model-quantization nvfp4 pruning llm benchmarking

摘要

开发者 @0xSero 在优化版 GLM-5.1-505B 上通过 NVFP4 量化与 32% 剪枝实现高吞吐推理，解码速度 45 tokens/s，预填充速度 1350 tokens/s。

终于把 GLM-5.1-505B-REAP-NVFP4 跑起来了：解码 45 tokens/s，预填充 1350 tokens/s，剪枝 32%。这是我折腾模型以来最拼的一次。

查看原文

查看缓存全文

缓存时间: 2026/04/21 08:28

终于 GLM-5.1-505B-REAP-NVFP4 45 tokens/s 解码 1350 tokens/s 预填充 32% 剪枝
这是我为了跑起一个模型最拼命的一次

相似文章

X AI KOLs Timeline

一份 478B 参数的量化 GLM-5.1 模型在 4 块 RTX Pro 6000 上用 SGLang 运行，支持 37 万 token 上下文，解码最高 45 tok/s，预填充 1340 tok/s，并现场演示操控 Figma。

X AI KOLs Following

一位社区研究员通过混合量化（NVFP4、NF3、MXFP8），在无需剪枝的情况下，在 vLLM 中运行了 GLM-5.2（753B 参数，全部 256 个专家），可在 4×96GB GPU 上运行，拥有约 307k KV 缓存，精度接近 FP8。

X AI KOLs Timeline

Baseten 宣布推出针对 GLM-5.2 开源模型的世界最快 API，通过 NVFP4 量化、分离式推理等优化，实现每秒超过 280 个 token 的处理速度。

Reddit r/LocalLLaMA

一位用户在配备双 RTX 5090 的高端类消费级系统上测试了 unsloth 量化版 GLM-5.2 模型，达到了每秒 12 个 token。

Reddit r/LocalLLaMA

描述了在 8 节点 DGX Spark (GB10) 集群上使用定制 vLLM 分支部署和基准测试量化后的 GLM-5.2-Int4-Int8Mix 模型，实现了约 1,200 t/s 的预填充和约 35 t/s 的解码，支持 MTP 工具调用。