定制推理引擎是否被过度炒作？我在两张 R9700 上使用 Strata 的体验

我的本意是找到一套至少能达到 qwen 3.8 27b Q8 MTP 水平、但上下文更大的配置。理想情况下是 1M。我之前已经在用 llama 运行 Q2 量化的 Next Flash。用来聊天不错，但不适合编程。Q4 也能运行，但太慢了。我确实在这里看过很多帖子，说 strata 运行 qwen next flash 的性能很好。我想，两者都已经推出够久了，应该稳定了，所以就试了一下。然而，结果非常令人失望。我唯一做到的就是把量化精度提升到 Q3。这就引出了一个问题：关于替代引擎的大多数帖子，究竟只是炒作，还是只适用于极少数场景？在我看来，确实像是这样。说说我尝试的一些细节：两张显卡，再把部分专家卸载到内存：无论尝试什么设置，每次执行长任务都会卡死。只有所有专家都能装进显存时才稳定。对于 64 GB 显存来说，这意味着只能用 3 位量化。纸面上更快：相比 llama.cpp，速度约为 60 token/秒。但在 HumanEval+ 上，3 位量化的 Flash-Next 得分为 93.9%，而在原版 llama.cpp 上运行的 Qwen3.8-27B Q8 得分为 95.1%，并且前者消耗了近两倍的 token 才达到这个成绩。没有优势。所以，对我的用途而言，相比成熟的软件栈，并没有实际收益。你得到的不再是一个稳定的引擎，而是一个专用于单一模型的引擎、它的各种分支、特殊量化版本，以及一堆依靠环境变量来绕过问题的变通办法。这只是因为 Strata 还不成熟，还是一种普遍现象？有没有人用这些针对特定模型的引擎，相比 llama.cpp 或 vLLM，真正获得过持久的实际收益？