@akshay_pachaar: 苹果终于做到了。其新框架 Core AI 完全在 Apple 芯片上运行模型,因此推理发生在用户设备上…

X AI KOLs Following 工具

摘要

苹果发布了 Core AI,这是一个新框架,可在 Apple 硅设备(iPhone、iPad、Mac、Vision Pro)上完全运行 AI 模型,无需服务器调用。它包含一个内存安全的 Swift API、用于 PyTorch 的模型导出配方、一个优化器和调试工具,支持 Qwen、Mistral 和 SAM3 等模型。

苹果终于做到了。 其新框架 Core AI 完全在 Apple 芯片上运行模型,因此推理发生在用户设备上,零服务器调用,零 token 费用。 这意味着 Qwen、Mistral 和 SAM3 可以在 iPhone、iPad、Mac 和 Vision Pro 上原生运行。 它是一个内存安全的 Swift API,可提前编译模型以实现近乎瞬时的加载。只需几行代码即可加载一个模型: let segmenter = try await ImageSegmenter(resourcesAt: sam3ModelURL) let response = try await segmenter.segment(image: inputImage, prompt: "flower") 不过,这次发布不仅仅局限于运行时。 它附带精选的开放模型,这些模型已打包为 Swift 格式,还提供了 PyTorch 扩展用于转换你自己的模型,以及一个优化器,可以逐层压缩模型,同时将准确率损失降至最低。 此外,还有一个 macOS 调试器,可以分析性能并将行为追溯到你的原始 Python 代码,以及 Xcode 工具,用于在模型发布前进行验证。 对于任何希望实现真正的设备端 AI 而不必为每个用户承担云费用的团队来说,这就是答案。 模型仓库:https://github.com/apple/coreai-models…
查看原文
查看缓存全文

缓存时间: 2026/06/10 09:47

苹果终于做到了。

其全新框架 Core AI 完全在 Apple 芯片上运行模型,因此推理在用户设备上完成,零服务器调用,零令牌费用。

这意味着 Qwen、Mistral 和 SAM3 可以在 iPhone、iPad、Mac 和 Vision Pro 上原生运行。

这是一个内存安全的 Swift API,可提前编译模型以实现近乎即时的加载。只需几行代码即可引入一个模型:

let segmenter = try await ImageSegmenter(resourcesAt: sam3ModelURL)
let response = try await segmenter.segment(image: inputImage, prompt: "flower")

不过,此次发布不仅限于运行时。

它还提供了为 Swift 打包的精选开源模型、用于转换自有模型的 PyTorch 扩展,以及一个逐层压缩模型且精度损失极小的优化器。

此外,还有一款 macOS 调试器,可分析性能并将其行为回溯至原始 Python 代码,以及用于在模型发布前进行验证的 Xcode 工具。

对于任何希望实现真正设备端 AI 而又不想为每个用户支付云费用的团队来说,这就是答案。

模型仓库:https://github.com/apple/coreai-models…


apple/coreai-models

来源:https://github.com/apple/coreai-models

Core AI Models

包含模型导出配方、Python 基元和 Swift 运行时工具,用于通过 Core AI(https://developer.apple.com/documentation/coreai)构建设备端 AI。

主要组件包括:

  • 模型导出 — 将 Hugging Face 及其他来源的热门开源模型导出为 Core AI 格式的配方。
  • 可复用基元 — 用于在 PyTorch 中编写自定义 Core AI 模型的 Python 构建块。
  • 运行时工具 — 基于 Core AI 框架构建的 Swift 包,可在 macOS 和 iOS 上运行模型。
  • 技能 — 帮助编码代理有效利用 Core AI 的插件。
目录内容
models/包含 README 和导出配方的模型目录。
python/用于编写模型的 Python 基元和用于导出模型的工具。
swift/Swift 包(coreai-models):用于将 Core AI 模型集成到应用中的运行时工具。
skills/可插拔技能,使编码代理能更有效地利用 Core AI。

系统要求

如果尚未安装 uv,请通过以下方式安装:

brew install uv

curl -LsSf https://astral.sh/uv/install.sh | sh

安装成功后,请参阅 models 文件夹中每个模型或模型族的 README.md 以了解其导出配方。

系统要求(运行和集成到应用)

  • macOS 和 iOS 27.0+

  • Xcode 27.0+

Core AI 模型导出为独立的 .aimodel 文件,以便通过 Core AI 框架集成到应用中。

某些模型需要额外资源。例如,语言模型需要分词器,扩散模型需要按序运行多个模型作为单一管道的一部分。对于这些情况,本仓库中的导出配方会生成一个资源文件夹,内含一个或多个 .aimodel 文件及所需的资源。本仓库中的 Swift 包提供了用于将这些模型集成到应用中的运行时工具。

还提供了命令行界面(CLI)工具,用于直接在 Mac 上运行导出的模型(需要 Xcode 27.0+)。有关可用工具和示例调用,请参见每个模型的 README。

浏览支持的模型

通过以下命令查找支持的模型:

git clone https://github.com/apple/coreai-models.git && cd coreai-models
uv run coreai.model.registry --list-models

运行 uv run coreai.model.registry --help 获取详细信息。

代理技能

本仓库包含一个插件,其中提供了技能,使编码代理能够像专家一样使用 Core AI。

可用技能

技能描述
working‐with‐coreai在 Apple 芯片上部署 PyTorch 模型的端到端工作流程,涵盖使用 coreai-torch 导出以及使用 Core AI 运行时运行。
model‐authoring在 Apple 平台上编写用于设备端执行的 PyTorch 模型的经验规则,涵盖 BC1S 布局、算子兼容性、KV 缓存模式、精度规则、MoE 和常见问题。
model‐compression‐exploration使用 coreai-opt 系统性地探索 PyTorch 模型的权重压缩配置(量化和调色板化)。

安装

安装方式取决于你选择的编码代理。

Claude Code

注册市场:

/plugin marketplace add [email protected]:apple/coreai-models.git

或者,从本地 git 签出注册市场:

/plugin marketplace add /path/to/coreai-models

安装插件:

/plugin install coreai-skills@coreai-models

Codex CLI

注册市场:

codex plugin marketplace add https://github.com/apple/coreai-models

或者,从本地 git 签出注册市场:

codex plugin marketplace add /path/to/coreai-models

安装插件:

codex plugin add coreai-skills@coreai-models

Gemini CLI

从本地目录安装扩展:

gemini extensions install /path/to/coreai-models/skills

安装后,技能会根据任务上下文自动激活,或者你可以显式调用它们。

贡献

我们目前不接受代码贡献

Core AI Models 专注于维护一个精心策划、经过充分测试的模型库和一个可靠的 Swift 包。在发布初期,我们暂不接受拉取请求,因为我们想了解社区如何使用该项目。

如果你提交了拉取请求,它将被关闭。这并非对你贡献质量的否定,而是本次发布的明确范围决策。

我们欢迎什么

我们非常欢迎你的反馈!GitHub Issues 已开放用于:

  • Bug 报告 — 如果 Python 脚本或 Swift 工具未按预期工作
  • 模型请求 — 如果你对希望看到的模型有想法,或对工作流程或 Swift 工具有改进建议

请使用问题模板开始提交。

支持

许可证

本项目采用 BSD 3-Clause 许可证

相似文章

苹果发布全新 Apple Silicon 端侧推理引擎

Reddit r/LocalLLaMA

苹果在 WWDC 上发布了 CoreAI,这是一款适用于 Apple Silicon 的全新端侧推理引擎,将取代 CoreML,并通过优化推理支持多达 200 亿参数的更大模型,重点面向手机和平板设备。

Apple Core AI Framework

Hacker News Top

Apple 推出 Core AI Framework,一种用于设备端机器学习的新工具。

苹果发布基于谷歌Gemini模型构建的新AI架构

Hacker News Top

苹果宣布对其Apple Intelligence平台进行重大改革,发布了一套与谷歌合作、基于Gemini技术共同开发的基础模型构建的新AI架构,该架构支持多模态能力,并通过Private Cloud Compute实现隐私保护的设备端与服务器端处理。