我的 @Google 同事 @NormJouppi、Sridhar Lakshmanamurthy、Cliff Young 和 David Patterson 最近撰写了一篇论文，将发表在《@ieeemicro》2026年7/8月刊上，标题为《Google的训练超级计算机：从TPU v2到Ironwood——跨五代架构的稳定性、规模、弹性、能效与可持续性》。文中详细介绍了TPU芯片代际演变的丰富数据，以及Google内部工作负载随时间的变化趋势（提示：基于Transformer的模型大幅增长！），同时显示每代产品的每Flop能效提升了约30倍。

这些代际间发生了诸多变化：

• 从TPU v2的风冷升级到TPU v3及之后的水冷
• 从2D环面互连升级到3D环面互连
• TFLOPS/瓦特提升30倍
• 每集群芯片数从TPU v2的256颗增加到Ironwood的9216颗

阅读完整论文：https://arxiv.org/abs/2606.15870

Google的训练超级计算机：从TPU v2到Ironwood——跨五代架构的稳定性、规模、弹性、能效与可持续性

来源：https://arxiv.org/abs/2606.15870 查看PDF (https://arxiv.org/pdf/2606.15870)

摘要：本文（将发表于2026年7/8月刊的《IEEE Micro》杂志）总结了Google从TPU v2到Ironwood共五代TPU的发展历程，重点介绍了它们作为可扩展、高弹性、高能效且可持续的AI训练超级计算机的演进。文章详细阐述了TPU架构的稳定性——这种架构令人惊讶地轻松适应了深度神经网络工作负载的快速变化，例如Transformer模型的兴起。八年间的主要进步包括：每节点HBM容量和带宽提升10倍、峰值节点性能提升100倍、超级计算机性能提升3600倍。本文还讨论了光电路交换机、内置自测和硬件重放机制在增强弹性方面的作用，以及TPU如何通过每瓦性能和每浮点运算碳排放的显著改善来降低环境影响。最后，文章总结了六个可能定义本十年成功训练加速器的关键特征。

提交历史

来自：Cliff Young [查看邮件 (https://arxiv.org/show-email/3296a8f2/2606.15870)]
[v1] 2026年6月14日星期日 15:44:31 UTC (2,943 KB)