@Oluwaphilemon1: Qwen3.8-27B at 56 tok/s on a 9-year-old GPU. Let that sink in. The GPU? NVIDIA V100 32GB. A card that launched at aroun…
摘要
在NVIDIA V100 GPU上实现Qwen3.8-27B模型每秒56个令牌的推理速度，展示了使用推测解码技术在旧硬件上进行经济高效的本地AI部署。
查看缓存全文
缓存时间: 2026/08/30 18:21
Qwen3.8-27B 在一块已有9年历史的显卡上达到了每秒56 token 的生成速度。
请仔细品味这一点。
这张显卡是？
NVIDIA V100 32GB。
一张发售价约11,500美元的显卡，现在二手价格大约650美元，但其本地运行AI的能力依然令人惊叹。
配合 DFlash2 推测解码，Qwen3.8-27B 的速度可达到：
→ 代码生成：约 56–63 tok/s → 思考与散文生成：速度略低 → 关闭 ECC 内存校验后，性能还有提升空间
有趣的是，推测解码的性能表现会因任务类型而异。
对于散文生成，MTP（多Token预测）往往表现更优，尤其在GPU功耗受限时。
但对于持续的代码生成任务，DFlash2 则更胜一筹。
这是一个相当重要的区别。
不能简单地孤立地问哪种推测解码方法“更快”。其答案高度取决于你生成的内容类型、下一个 token 的可预测性，以及 GPU 可用的功耗空间。
而这一切，都运行在 PCIe 3.0 接口和一个已经落后好几代的架构上。
这些在纸面上看似是明显的劣势。
实际情况呢？
软件生态的优化已经让它们的负面影响远不如预期。
这正是 V100 再次引起关注的原因。
你不需要一块价值2000美元以上的现代显卡，也能运行严肃的本地模型。
一块来自上个十年、价值约650美元的二手数据中心加速卡，在搭配合适的运行时环境和推测解码技术后，依然能提供惊人的推理性能。
我也在整理一个仓库，以便更轻松地复现这套配置，免去你花费数小时自行摸索的麻烦。
V100 曾是售价11,500美元的旗舰加速卡。
如今，以大约650美元的二手价格，它依然能以每秒数十 token 的速度驱动27B参数的模型。 https://x.com/KyleHessling1/status/2093509375352799338/video/1…
相似文章
价值100美元的GPU以7.39 t/s运行Qwen 3.8 27b模型
一位用户演示在两张RX 580 GPU上运行量化为Q3_K_M的Qwen 27b AI模型，使用价值低于100美元的旧DDR3硬件，达到7.39 tokens/秒的性能。
使用旧电脑打造家庭服务器并升级GPU。Qwen3.8 27B以每秒约30个令牌运行。
一位用户使用改装的矿卡从旧电脑搭建家庭服务器，通过驱动补丁和硬件升级，实现了Qwen 3.8 27B AI模型每秒约30个令牌的推理速度。
@Oluwaphilemon1: 在12GB RTX 5070上运行的Qwen3.8-Flash-Next速度只有15 tok/s，显然这不够好。所以与其买更大的G…
一位用户构建了一个名为Strata的开源推理引擎，用于优化Qwen3.8-Flash-Next在普通硬件上的运行，将速度从最初的15 tok/s提升到了最高65.1 tok/s。
@Oluwaphilemon1：在单张 24GB 显存的 RTX 3090 上，Qwen3.8-27B 从 82 tokens/sec 提升到 381 tokens/sec。同一张显卡，同一个模型，推理速度提升近 4.6 倍
一位开发者通过 MTP、DFlash2 投机解码、上下文查找和前缀缓存，在单张 RTX 3090 上将 Qwen3.8-27B 的吞吐量从 82 提升到 381 tokens/sec，无需升级硬件。日常聊天场景的性能约为 133 tokens/sec，说明峰值数据主要来自高度可复用的工作负载。
Qwen3.8-27B在24GB RTX PRO 4000 SFF上以256K上下文运行（432 GB/s带宽）：通过MTP实现每秒50个token
本文详细描述了一项实验，该实验在24GB GPU上使用多token预测和自定义优化，实现了Qwen3.8-27B在256K上下文下每秒50个token的推理速度。