@MinLiBuilds: 我刚用 Strata 跑完一轮实验。这真是一个超棒的推理框架——显存仍然……

😋 我刚刚完成了一轮基于 Strata 的实验。

这确实是一个非常出色的推理框架——显存依然至关重要。

这篇文章也可以作为一个很好的参考，指导你如何选卡以及如何做本地推理。

我的实验一共跑了 5 轮，除了显存预算不同之外，其他条件完全相同：

• 模型权重 Qwen3.8-Flash-Next Q2_0
• 48GiB RTX 4090
• 相同的一组 Prompt，8192 上下文长度，temperature=0，top_p=1

我逐步限制 GPU 可以分配给 expert 缓存的显存预算，以此模拟不同显存大小的显卡的理论性能，观察速度是如何下降的。

1/n 推文👇

首先看一下 full-cache，即把所有专家全部加载进显存：

• GPU 实际占用：37.1GiB
• GPU 专家缓存：31.64GiB
• 专家数量：24,576
• 缓存命中率：100%
• Decode 速度：159.4 tok/s

换句话说，所有专家都能留在显存里。 这是最快的一档。

在这里你可以看到，大约有 5G（即 37 - 31.6）是固定的显存开销，用于放置核心推理权重，这部分无法加载或卸载。

接着我逐步削减显存预算；显存越大，速度依然越快。

注意，这里的 GPU 预算可以对应到不同的显卡。

除了权重开销之外，如果你在跑实际任务，实际上还需要为 KV 预留 5-10G 的显存，也就是上下文长度所占用的部分。

千万别误解成：

有了 Strata 之后，显存就不重要了。

恰恰相反。

显存越大，GPU 能保留的热点专家越多，缓存命中率越高，交给 CPU 处理的部分越少，decode 就越快。

我这组数据里：

• 48GiB 档能做到 159 tok/s。
• 20GiB 还能有 131 tok/s。
• 16GiB 还有 117 tok/s。
• 12GiB 就掉到 87 tok/s。

大显存依然吃香。

如果显存只有 12GiB，就明显进入了 miss 惩罚区。

但 Strata 改变了一点别的东西：

过去，大家很容易把显存理解成一个硬性限制。

如果模型塞不进去，那就跑不起来，或者速度直接崩溃。

现在情况已经不一样了。

GPU 不需要把所有专家全部加载进来。

只要它能留住足够多的热点专家，剩下的部分仍然可以交给 RAM + CPU 来处理。

更像是这样：

• GPU：热点专家缓存
• RAM：完整的专家池，当 GPU 未命中时快速从内存中读取
• SSD：GGUF / PLE

如果在 GPU 上，就直接计算。 如果不在 GPU 上，就走 RAM / CPU。

这也是 Qwen-Next 有趣的地方——它的稀疏度极高，每次激活的专家数量非常少。因为它和 Strata 完美契合。

🔥 这也直接对应到买卡这件事。

如果你只是想知道：

“我能把这个模型跑起来吗？”

12~16GiB 就已经够玩了。

但如果你在想：

“不只要能跑，我要它跑得流畅。”

20~24GiB 显然更合理。

如果你想尽可能让专家留在显存里，把 CPU 未命中降到最低：

32~48GiB 依然有明确的价值。

显存越大，缓存越大，命中率越高，速度越快。

即使显存没那么大，也并非完全不可用。

只是更多的工作会落到 CPU 和 RAM 上。

n/n

是的，48G 的 4090 又爽了

你带火了 qwen 3.8 next flash 🫡

非常牛逼的工作

看着吧，再发酵一周，X 上就会全是 Next 的帖子了。Qwen 会感谢你的 😊