GLM-5.3 Flash 在中国硬件上运行的实际含义

# 在中国硬件上运行GLM-5.3 Flash意味着什么 来源：https://martinalderson.com/posts/glm-5-3-flash-chinese-hardware/ 智谱AI已确认（https://z.ai/blog/glm-5.3-flash），其最新发布的模型完全在中国制造的硬件上运行所有推理。虽然这无疑是一项令人印象深刻的成就，但西方公司仍然拥有我无法预见其能迅速改变的巨大优势。 ## 中国AI硬件发展到何种水平？ 首先，值得深入探究*当前*中国AI硬件的实际水平。我将完全聚焦于海思部件——华为最具竞争力的产品。虽然实际上还有（许多）其他厂商在制造AI硬件，但普遍认为它们并未超越海思，因此我认为从简化的角度出发，以此作为切入点是合理的。 在进一步展开前需要说明一点：智谱AI实际上并未指明具体的芯片制造商，也未公布吞吐量或功耗数据。目前无人独立验证这一说法。因此我在此假设是海思，因为这是该规模下唯一合理的选择，并非有人已证实此点。 同样值得提及的是，美国对高端AI硬件的出口管制（CSIS对此有很好的概述 https://www.csis.org/analysis/understanding-biden-administrations-updated-export-controls）已使这成为中国方面一个极其重要的优先事项，这完全可以理解。同时必须说明，要找到许多我将引用的数据的准确来源十分困难，因此对具体数字需持保留态度。 海思当前的“规模化”系列芯片——910c系列，将96GB HBM 2e内存与两个计算核心结合，可能实现约1.6PFLOP/s的INT8计算能力，内存带宽约3TB/sec，功耗约600W。 本质上，这即使与英伟达四年前推出的H100相比也存在明显差距。其性能约为H100的60%（https://x.com/Yuchenj_UW/status/1884296403771617351），并存在其他限制因素（例如不支持原生FP8），这可能会在许多应用场景中进一步降低效率。 下一代950系列芯片在计算能力上并未见显著提升，但采用了国产的HiZQ/HiBL HBM内存。有趣的是，该系列配置有两种变体——950PR和950DT，前者聚焦于预填充，后者专注于解码。实际上两者非常相似，但预填充变体采用速度较慢的HiBL内存，解码变体则采用HiZQ内存。不过，它确实支持更多量化类型，如FP8。 ## 限制因素 我认为这揭示了中国硬件——至少在短期内——所能达到的极限。 是的，它们可以运行推理，但如今*许多*硬件组合都能做到——AMD、谷歌和亚马逊都拥有具有竞争力的解决方案，而OpenAI在其Jalapeño推理芯片（https://openai.com/index/openai-broadcom-jalapeno-inference-chip/）上也取得了显著进展。该芯片在首次公布基准测试（https://techcrunch.com/2026/08/25/openais-jalapeno-chip-is-built-for-fast-inference-at-scale-benchmarks-show/）中，每瓦性能达到了英伟达GB300的1.5至1.9倍。推理硬件虽然无疑复杂，但目前是个已基本解决的问题，且竞争激烈——这还不包括Cerebras和Groq的专用方案。 这些中国硬件厂商面临的障碍是缺乏可行的EUV（极紫外光）制造工艺。这是来自ASML的下一代硅制造技术，*极其困难*。我强烈、*非常*推荐阅读克里斯·米勒所著的《芯片战争》（https://www.christophermiller.net/semiconductors）以了解完整背景，但无论如何，在这方面取得重大进展之前——我所说的重大进展，并非指在深圳实验室里逆向工程出的原型机（https://www.techspot.com/news/110649-china-has-reverse-engineered-euv-machine-marking-major.html），而是指可靠、*规模化*的生产。 业界若能在2030年之前实现规模化生产，将感到震惊。请记住，深圳的原型机尚未生产出可工作的芯片，而更乐观的预测是大约在2030年才能实现——规模化量产还要更进一步。ASML用了25年才掌握这项技术，其中至少有5年多时间是从实验室走向“真实”生产线的扩展过程。尽管中国无疑拥有卓越的工程人才*以及*逆向工程ASML部分工作的能力，但这仍是一项艰巨的挑战。 没有EUV技术，就不可能将制造尺寸降至（远低于）“7纳米”以下。如果无法实现更小尺寸，就会迅速遇到热效率瓶颈，达到芯片无法再增大或加速的程度，因为热量无法快速散发。 此外，针对中国HBM内存的额外出口管制显然造成了重大问题，因此950系列采用两种不同国产内存技术的奇特做法也就不言自明——无疑是由于无法生产足够数量的快速内存（而这些内存相比而言仍属*较慢*）。 这些实质上源于同一根本制约：缺乏EUV制造技术，也无法生产最新一代的高速HBM内存。 ## 但或许这无关紧要？ 显然，中国采取的策略并非真正追求通过更优制造技术实现计算和内存的稳健渐进式提升，而是构建*海量*硬件。即使最快的芯片最多落后英伟达最新GPU五年，只需建造十倍数量的硬件即可达到同等推理能力。而实际差距确实约为十倍——不是针对我之前比较的H100，而是针对英伟达当前实际出货的产品。Rubin VR200在密集FP4下的性能约为35PFLOP/s，配备22TB/sec的HBM4带宽。910c性能仅为四年前H100的60%；而Rubin又比这高出一个数量级。 毫无疑问，中国具备独特优势来实现这一点——拥有*巨大*的发电能力为此供电，以及大量熟练的工程和制造劳动力来建设所需设施和散热系统。 但这远非理想方案。随着模型规模扩大，必须将它们分散到更多性能较弱的硬件集群上。另一个问题是会使模型*变慢*——智谱AI自己的API明显慢于提供相同权重的西方服务商。 但我反复思考的关键点是功耗。这里必须谨慎，因为十倍的吞吐量差距*并不意味着*十倍的电费——910c功耗约600W，而Rubin部件约为2000W。根据规格书计算，每瓦计算量和每瓦带宽的差距约为2至3倍，这看起来就没那么惊人了。 但规格书美化了910c的表现。每芯片96GB内存，对比西方现有部件的288GB甚至更多，留给KV缓存的空间要少得多，这迫使采用较小的批量处理，而解码吞吐量在小批量下会急剧下降。再加上不够成熟的软件栈，以及运行十倍芯片带来的互联和冷却开销，在我看来，每瓦生成token数差五倍是合理的估计。往好了说可能就这个水平。 这很重要，因为电力通常占GPU集群总成本的10%-20%（https://siliconanalysts.com/tools/cluster-tco），硬件摊销占主导地位。将电力成本乘以五倍，就会从成本的一小部分变成约占总账单的一半。对于拥有中国发电能力且愿意将差异视为战略补贴的情况来说，这没问题。但如果想在全球竞争市场中依靠价格销售推理服务，情况就大不相同了。 模型小型化趋势也无助于扭转局面。显然它们有帮助——一个30B模型替代以往需要300B模型的任务，确实节省了成本。但这是双方都能获得的优势——较小的30B模型在西方硬件上运行速度仍然快十倍，因此中西方硬件效率的差距保持不变。 并且*假设*中国在制造技术上不会出现重大突破——如我之前所述这极有可能不会发生——那么中西方AI硬件之间的差距甚至可能进一步扩大。 因此总结来说——是的，他们能做到这点是令人印象深刻的成就，但存在一些短期内难以解决的硬性效率限制。同时，是的，中国*或许能*通过纯粹的数量优势克服这些限制，但这是一种次优方案，会对其推理服务的速度、容量和经济性产生实质影响。