OpenRouter模型定价暗示更激进的量化？

最近有很多关于模型静默量化以及如何保证模型质量访问的讨论。我一直在试图核实运行大型开放模型的经济性，但发现数字很难对得上。以GLM-5.2为例。即使在一个相当乐观的场景下——比如在廉价的8×H200 spot实例上以FP8部署，每小时成本约12-14美元——你仍然需要很高的吞吐量才能让API定价合理。即使按8×H200 FP8的最佳情况约14美元/小时计算，一个节点以约175输出tok/s的速度运行，每小时也只能产生约63万输出token。这意味着在扣除运营和利润之前，每百万输出token的成本约为22美元，这与约4美元/百万的API定价很难吻合——除非吞吐量高得多、基础设施便宜得多，或者模型经过了更激进的优化/量化。如果节点每秒只输出几百个token，原始基础设施成本很容易远高于OpenRouter的典型输出定价。低于FP8的量化会导致输出质量显著下降，对吧？即使是FP8，输出质量也会降低8-10%，对吧？（我知道量化这一点有点傻。）因此，除非提供商能获得显著更高的吞吐量、更便宜的基础设施，或者补贴使用，否则很可能许多路线使用的量化比人们假设的更激进。对于许多用例来说，这可能没问题，但对于智能体工作、规划、编码和长上下文任务——这些任务中细微的退化很重要——了解这一点似乎很重要。我希望听到比我更了解推理经济学的人的反驳意见。我是否忽略了批处理、缓存、MTP/推测解码或提供商级优化中的明显因素？这也让我思考，是否对特定模型的高级访问存在需求——其中服务栈公开，量化固定——即使只用于某些高价值任务，如规划或困难的智能体工作流。我认为随着模型能力越来越强，这将变得更加关键——否则，访问最佳模型将完全被量化前沿模型的提供商所控制。我的意思是，我们大多数人似乎都怀疑，即使是闭源提供商的最佳模型在某些地方也会退化。你可能需要为一次规划或困难查询或工作流支付3-5倍的费用，但至少你能确切知道你得到的是什么。