@Oluwaphilemon1：Qwen3.8-Flash-Next 之前大约是 25 tok/s，现在超过 50 tok/s。Qwen3.6-35B Q8 从大约 40 tok/s 提升到 100 …

Qwen3.8-Flash-Next 之前大约是 25 tok/s。 现在超过 50 tok/s。 Qwen3.6-35B Q8 从大约 40 tok/s 提升到了 100 tok/s。 Qwen3.8-27B 从大约 40 tok/s 提升到了 80 tok/s。 模型并没有突然变得更聪明。 硬件也没有改变。 改变的是推理引擎。 最新版 cafe-llama.cpp 释放了 Qwen MTP（多 Token 预测）配置中更多的潜力，据报告的结果是，几个 Qwen 模型的解码速度大约提升了 2 倍。 推荐的设置是： `--spec-draft-n-max 4` 这看起来只是一个很小的配置改动，但背后的思想却相当重要。 MTP，即 Multi-Token Prediction（多 Token 预测），为模型提供了额外的预测能力，可以用于投机解码。 系统不必生成恰好一个 token 然后重复执行代价高昂的前向传播，而是可以利用这些额外的预测来同时提出多个未来的 token。 由目标模型对它们进行验证。 当预测被接受时，每一次昂贵的模型评估就能产出更多有用的 token。 加速正是来自这里。 而且这些数字相当惊人： **Qwen3.8-Flash-Next** ~25 → 50+ tok/s **Qwen3.6-35B Q8** ~40 → 100 tok/s **Qwen3.8-27B** ~40 → 80 tok/s 关键在于，这并不是新的量化方式，也不是更小的模型。 这是从你本来就在运行的模型中挖掘出了更多性能。 这正在成为本地 AI 领域的一个反复出现的主题。 人们总是在问： “我需要什么 GPU 才能运行这个模型？” 但越来越多的情况下，更好的问题其实是： “那个 GPU 到底在推理栈中是怎么被使用的？” 量化很重要。 KV 缓存格式很重要。 内存布局很重要。 内核实现很重要。 投机解码很重要。 而现在，MTP 的利用程度同样重要。 一个在某个运行时下能跑 40 tok/s 的模型，换一个运行时可能就有潜力跑到 80 甚至 100 tok/s。 同样的权重。 同样的硬件。 同一个模型。 体验却完全不同。 这正是像 cafe-llama.cpp 这样的项目值得关注的原因。 本地推理的前沿不仅仅是把模型塞进更少的显存里。 还在于发现模型本身已经具备的计算能力，并确保运行时真正利用了它。 如果 Qwen3.8-Flash-Next 仅仅通过释放更多 MTP 潜力，就能从大约 25 tok/s 提升到 50+，那么这些模型内部很可能还藏着大量我们尚未挖掘出来的性能。 本地 AI 正在变成一场推理引擎的竞赛，正如它是一场模型的竞赛。 https://x.com/quimedesu/status/2105779081589776818/video/1…