租用了一些服务器时间，想分享一下使用大内存、搭配不错 GPU 的服务器跑基准测试的一些心得：AMD EPYC 和 ROME 主板真的*很值得*：Qwen 3.8 Flash Next Unsloth Q8 在 c=1 时达到 94 tok/s，在 c=8 时达到 456 tok/s。

原始数据在评论里，如果你好这口的话。懒人总结：这个配置在使用 124k 上下文窗口时，至少到 8 路并发流为止，总性能几乎能随流数线性增长。更多的流我没测。摘要：直到今天，我还把 Strata 当成玩具。现在不这么想了。在 vast.ai 上租了几台实例跑基准测试。总共烧了大约 40 美元。测试平台为 ROME2D32GM-2T 主板上的双路 AMD EPYC 7642，两台机器分别配有 251GB 和 504GB DDR4 内存，均使用两张 3090（其中一台其实有四张，但只用了两张）。运行时和模型：使用 Strata（最高测到 unsloth Q8）和 Maya（GLM 5.3F 和 DSV4.1F），测试了多种模型大小。结果：Maya 就别考虑 C>1 了。Strata 呢？从超过 100 tok/s 降到略高于 50 tok/s（Q_8 量化下）。最让我震惊、也让我忍不住发帖的是：用这个配置跑 QFN 3.8 Q8，至少到 8 路并发流为止，性能几乎能线性扩展。工作站和服务器配置确实值得：不用再为显存那么费劲；配上几张像样的 GPU，就能大干一场了。转而需要投入的是 DRAM（买起来没那么肉疼——虽然还是肉疼）和 CPU（价格倒还挺能接受）。GLM 和 DSV：它们很可能会受益于更大的显存。但话说回来，一张 3090 要 1500 多，至少还得付出六七年前它们刚卖时的价钱？简直是羞辱人。无聊透顶的原始数据请看评论。免责声明：这绝对不是广告。就像买车一样，只要条件允许，我都想先试驾再买。Vast.ai 在这方面太棒了。只要找到一台配置让你哪怕有那么一点好奇的机器，就可以租一段时间（存储要额外付一点钱），下载想测试的运行时和模型，然后开跑基准测试。