@akshay_pachaar: 苹果终于做到了。其新框架 Core AI 完全在 Apple 芯片上运行模型,因此推理发生在用户设备上…
摘要
苹果发布了 Core AI,这是一个新框架,可在 Apple 硅设备(iPhone、iPad、Mac、Vision Pro)上完全运行 AI 模型,无需服务器调用。它包含一个内存安全的 Swift API、用于 PyTorch 的模型导出配方、一个优化器和调试工具,支持 Qwen、Mistral 和 SAM3 等模型。
查看缓存全文
缓存时间: 2026/06/10 09:47
苹果终于做到了。
其全新框架 Core AI 完全在 Apple 芯片上运行模型,因此推理在用户设备上完成,零服务器调用,零令牌费用。
这意味着 Qwen、Mistral 和 SAM3 可以在 iPhone、iPad、Mac 和 Vision Pro 上原生运行。
这是一个内存安全的 Swift API,可提前编译模型以实现近乎即时的加载。只需几行代码即可引入一个模型:
let segmenter = try await ImageSegmenter(resourcesAt: sam3ModelURL)
let response = try await segmenter.segment(image: inputImage, prompt: "flower")
不过,此次发布不仅限于运行时。
它还提供了为 Swift 打包的精选开源模型、用于转换自有模型的 PyTorch 扩展,以及一个逐层压缩模型且精度损失极小的优化器。
此外,还有一款 macOS 调试器,可分析性能并将其行为回溯至原始 Python 代码,以及用于在模型发布前进行验证的 Xcode 工具。
对于任何希望实现真正设备端 AI 而又不想为每个用户支付云费用的团队来说,这就是答案。
模型仓库:https://github.com/apple/coreai-models…
apple/coreai-models
来源:https://github.com/apple/coreai-models
Core AI Models
包含模型导出配方、Python 基元和 Swift 运行时工具,用于通过 Core AI(https://developer.apple.com/documentation/coreai)构建设备端 AI。
主要组件包括:
- 模型导出 — 将 Hugging Face 及其他来源的热门开源模型导出为 Core AI 格式的配方。
- 可复用基元 — 用于在 PyTorch 中编写自定义 Core AI 模型的 Python 构建块。
- 运行时工具 — 基于 Core AI 框架构建的 Swift 包,可在 macOS 和 iOS 上运行模型。
- 技能 — 帮助编码代理有效利用 Core AI 的插件。
| 目录 | 内容 |
|---|---|
models/ | 包含 README 和导出配方的模型目录。 |
python/ | 用于编写模型的 Python 基元和用于导出模型的工具。 |
swift/ | Swift 包(coreai-models):用于将 Core AI 模型集成到应用中的运行时工具。 |
skills/ | 可插拔技能,使编码代理能更有效地利用 Core AI。 |
系统要求
如果尚未安装 uv,请通过以下方式安装:
brew install uv
或
curl -LsSf https://astral.sh/uv/install.sh | sh
安装成功后,请参阅 models 文件夹中每个模型或模型族的 README.md 以了解其导出配方。
系统要求(运行和集成到应用)
-
macOS 和 iOS 27.0+
-
Xcode 27.0+
Core AI 模型导出为独立的 .aimodel 文件,以便通过 Core AI 框架集成到应用中。
某些模型需要额外资源。例如,语言模型需要分词器,扩散模型需要按序运行多个模型作为单一管道的一部分。对于这些情况,本仓库中的导出配方会生成一个资源文件夹,内含一个或多个 .aimodel 文件及所需的资源。本仓库中的 Swift 包提供了用于将这些模型集成到应用中的运行时工具。
还提供了命令行界面(CLI)工具,用于直接在 Mac 上运行导出的模型(需要 Xcode 27.0+)。有关可用工具和示例调用,请参见每个模型的 README。
浏览支持的模型
通过以下命令查找支持的模型:
git clone https://github.com/apple/coreai-models.git && cd coreai-models
uv run coreai.model.registry --list-models
运行 uv run coreai.model.registry --help 获取详细信息。
代理技能
本仓库包含一个插件,其中提供了技能,使编码代理能够像专家一样使用 Core AI。
可用技能
| 技能 | 描述 |
|---|---|
working‐with‐coreai | 在 Apple 芯片上部署 PyTorch 模型的端到端工作流程,涵盖使用 coreai-torch 导出以及使用 Core AI 运行时运行。 |
model‐authoring | 在 Apple 平台上编写用于设备端执行的 PyTorch 模型的经验规则,涵盖 BC1S 布局、算子兼容性、KV 缓存模式、精度规则、MoE 和常见问题。 |
model‐compression‐exploration | 使用 coreai-opt 系统性地探索 PyTorch 模型的权重压缩配置(量化和调色板化)。 |
安装
安装方式取决于你选择的编码代理。
Claude Code
注册市场:
/plugin marketplace add [email protected]:apple/coreai-models.git
或者,从本地 git 签出注册市场:
/plugin marketplace add /path/to/coreai-models
安装插件:
/plugin install coreai-skills@coreai-models
Codex CLI
注册市场:
codex plugin marketplace add https://github.com/apple/coreai-models
或者,从本地 git 签出注册市场:
codex plugin marketplace add /path/to/coreai-models
安装插件:
codex plugin add coreai-skills@coreai-models
Gemini CLI
从本地目录安装扩展:
gemini extensions install /path/to/coreai-models/skills
安装后,技能会根据任务上下文自动激活,或者你可以显式调用它们。
贡献
我们目前不接受代码贡献
Core AI Models 专注于维护一个精心策划、经过充分测试的模型库和一个可靠的 Swift 包。在发布初期,我们暂不接受拉取请求,因为我们想了解社区如何使用该项目。
如果你提交了拉取请求,它将被关闭。这并非对你贡献质量的否定,而是本次发布的明确范围决策。
我们欢迎什么
我们非常欢迎你的反馈!GitHub Issues 已开放用于:
- Bug 报告 — 如果 Python 脚本或 Swift 工具未按预期工作
- 模型请求 — 如果你对希望看到的模型有想法,或对工作流程或 Swift 工具有改进建议
请使用问题模板开始提交。
支持
- GitHub Issues — 反馈、Bug 报告和功能请求
许可证
本项目采用 BSD 3-Clause 许可证。
相似文章
苹果发布全新 Apple Silicon 端侧推理引擎
苹果在 WWDC 上发布了 CoreAI,这是一款适用于 Apple Silicon 的全新端侧推理引擎,将取代 CoreML,并通过优化推理支持多达 200 亿参数的更大模型,重点面向手机和平板设备。
Apple Core AI Framework
Apple 推出 Core AI Framework,一种用于设备端机器学习的新工具。
苹果发布基于谷歌Gemini模型构建的新AI架构
苹果宣布对其Apple Intelligence平台进行重大改革,发布了一套与谷歌合作、基于Gemini技术共同开发的基础模型构建的新AI架构,该架构支持多模态能力,并通过Private Cloud Compute实现隐私保护的设备端与服务器端处理。
苹果称其AI仍然保持私密,即便运行在Google服务器上
苹果宣布其私有云计算架构现已扩展到第三方硬件,具体来说是Google的服务器,利用Nvidia、Intel和Google的安全技术来为AFM 3 Cloud Pro等高级AI模型维持隐私保障。
@julien_c:Apple Silicon 是本地AI之王吗?
关于Apple Silicon是否是运行本地AI模型的最佳硬件的讨论,引用了一篇相关文章或讨论串。