苹果发布全新 Apple Silicon 端侧推理引擎

这则消息似乎并未引起太多关注。苹果在 WWDC 上发布了 CoreAI，它本质上是对 CoreML 的后续替代方案，也是 MLX/llama.cpp/torch 的替代品，用于设备端优化的推理，尤其是手机和平板。模型权重需要通过 Python 脚本进行类似 CoreML 的转换，目前支持的模型列表主要来自 2025 年中，详见 [https://github.com/apple/coreai-models/tree/main/models](https://github.com/apple/coreai-models/tree/main/models) 。对于好奇者来说，这有何新意？CoreML 本身甚至不支持超过几十亿参数的模型，且支持的运算操作非常有限。这意味着 ANE 运算也将迎来重大更新。目前尚无性能数据，很可能当下其在 GPU 上的表现不如纯 MLX。另一个有趣的点是，他们宣称能够将 200 亿参数的模型部署到设备上用于基础模型 [https://machinelearning.apple.com/research/introducing-third-generation-of-apple-foundation-models](https://machinelearning.apple.com/research/introducing-third-generation-of-apple-foundation-models)，这看起来像是懒加载的 MoE，因此 CoreAI 可能也允许将更大的模型与应用一起部署。