Glimmer：5090上使用Dflash实现233.4 tps

Reddit r/LocalLLaMA 2026/08/10 18:01 模型

performance inference consumer-gpu context-length quantization

摘要

据报道，Glimmer在RTX 5090上使用Dflash达到了233.4 tps，256k上下文可装进24GB显存，令用户兴奋不已。

这太疯狂了！我还没机会在家里的4090上测试，但听起来非常有前途。而且这里读到，与Qwen不同，24GB上轻松达到256k CTX。超级兴奋！

查看原文

相似文章

Reddit r/LocalLLaMA

在 RTX 5090 上对 unsloth 的 Muse Glimmer 30B 进行基准测试，采用推测解码，使用 DFlash 草稿模型和基于 GPU 的 argmax PR，最高可达 253 t/s，不过该 PR 仍是草稿状态。

Reddit r/LocalLLaMA

一项基准测试显示，使用 vLLM 搭配 DFlash 投机解码，在单块 RTX 5090 上将 Gemma 4 26B 的推理速度提升至约 578 tokens/s，相比基线实现了 2.56 倍的加速。

Reddit r/LocalLLaMA

用户报告称，30B 参数的 Muse Glimmer 使用 Q4_K_XL 量化和 DFlash，在单张 RTX 3090 上即可运行，并支持完整的 256k 上下文，速度达到 64-124 tok/s，且长上下文检索完美，与同类模型不同。

Reddit r/LocalLLaMA

BeeLlama v0.2.0 引入了 DFlash 投机解码的重大改进，在单张 RTX 3090 上，Gemma 4 31B 加速最高达 4.93 倍，Qwen 3.6 27B 加速最高达 4.40 倍，且提示处理速度接近基线。

X AI KOLs Timeline

一份 478B 参数的量化 GLM-5.1 模型在 4 块 RTX Pro 6000 上用 SGLang 运行，支持 37 万 token 上下文，解码最高 45 tok/s，预填充 1340 tok/s，并现场演示操控 Figma。