xla

Google 与 Meta 合作开发 TorchTPU，这是一个面向 Google TPU 的开源原生 PyTorch 后端，支持开箱即用的运行、eager 模式以及与 torch.compile 的集成，性能具有竞争力，取代了 PyTorch/XLA 的诸多限制。

Google 开源了 TorchTPU，这是其 TPU 的原生 PyTorch 后端，支持自定义 ATen 内核、XLA 编译缓存、torch.compile() 集成以及分布式训练，并提供了 Llama、Qwen 和 ResNet 等模型的示例。

一款名为XProf Cubism Reducer的开源工具可将JAX/XLA的TensorBoard跟踪大小减少90%以上，使性能分析更加高效。

本文详细解释了JAX的核心思想，包括函数纯度、不可变性、显式状态管理和JIT编译，帮助读者从面向对象思维转向函数式编程以优化机器学习性能。