Gemma 4 26B 在单块 RTX 5090 上达到 600 Tok/s
摘要
一项基准测试显示，使用 vLLM 搭配 DFlash 投机解码，在单块 RTX 5090 上将 Gemma 4 26B 的推理速度提升至约 578 tokens/s，相比基线实现了 2.56 倍的加速。
我运行了一个基准测试，看看 DFlash 投机解码在 vLLM 中到底有多大帮助。
配置：
* GPU: RTX 5090, 32GB VRAM
* vLLM: 0.19.2rc1
* 主模型: cyankiwi/gemma-4-26B-A4B-it-AWQ-4bit
* 草稿模型: z-lab/gemma-4-26B-A4B-it-DFlash
* 工作负载: 随机数据集，256 个输入 token，1024 个输出 token
* 并发数：1
* 请求速率：1
* 测试的 num_speculative_tokens 范围：0 到 15
简而言之：
不使用 DFlash 的基线：
* 约 228 输出 tok/s
* 平均端到端延迟约 4455 ms
最佳实际 DFlash 设置：
* num_speculative_tokens=13
* max_num_batched_tokens=8192
* 约 578 输出 tok/s
* 平均端到端延迟约 1738 ms
* 约 2.56 倍加速
一个有趣的现象：最快的平均设置并不一定是最佳的服务设置。num_speculative_tokens=13 配合 max_num_batched_tokens=4096 时的平均延迟略好，但 p95 更差。提高到 8192 后，尾部延迟更干净。
我制作了一个短视频，展示了配置、脚本、基准测试方法、图表以及最终推荐的命令：[https://youtu.be/S_zbHH5Ycs0](https://youtu.be/S_zbHH5Ycs0)
图表/脚本/结果：[https://medium.com/@ttio2tech_28094/3a7ac4f73e5d](https://medium.com/@ttio2tech_28094/3a7ac4f73e5d)
好奇其他人是否在 DFlash 上也看到了类似的最佳投机 token 数量，尤其是在 4090/5090 或不同 Gemma/Qwen 模型上。
相似文章
@DogukanUrker: 单张RTX 3060上运行Gemma 4 12B：完整262,144上下文，速度约100 tok/s。（配置如下）密集模型 -> MTP推测…
DogukanUrker演示了在单张RTX 3060上使用推测解码和KV缓存拆分运行Gemma 4 12B，拥有完整262,144上下文，速度约100 tok/s，实现了接近满GPU利用率且无需CPU卸载。
@leopardracer: GEMMA 4 26B 在 RTX 4060 上运行，拥有 248K Token 上下文窗口，每秒 20 个 Token，上下文窗口大得可以……
Gemma 4 26B 在 RTX 4060 上运行，通过 llama.cpp 和 Q4_K_XL 量化实现 248K Token 上下文和每秒 20 Token 的速度，从而在消费级硬件上本地处理整个代码库。
@analogalok: Gemma 4 12B QAT（密集）在8GB显存和120k上下文下实现超过1000 tokens/秒的预填充速度 Gemma 4 12B QAT（密集），TurboQ…
Gemma 4 12B QAT（密集）使用TurboQuant在8GB RTX 4060上实现超过1000 tokens/秒的预填充速度，支持120k上下文，实现完整的GPU层卸载。相比之前的方法，预填充速度提升了42%。
DiffusionGemma 26B A4B 在我5090上的结果
本文介绍了在RTX 5090 GPU上运行DiffusionGemma 26B A4B GGUF模型的基准测试结果及调优参数，通过优化温度设置和量化选择实现最高44%的加速。
Gemma 4 E2B 在浏览器中运行，使用Fable 5编写的WebGPU内核，速度达255 tok/s
Gemma 4被演示在浏览器中通过WebGPU以每秒255个token的速度运行，使用Fable 5生成的内核，展示了高效的设备端推理。