executorch

LFM3-1.7B 和 LFM3-VL-2B 现已可通过开源的 Private Mind 应用在 iPhone 和 Android 上完全离线运行，并附有详细说明，介绍了将 LFM3 的新型架构（门控卷积、混合注意力、滑动窗口缓存调整）导出到 ExecuTorch 所需的工作，在 iPhone 16 Pro 的 GPU 上实现了约 40 token/秒的速度。

ExecuTorch 已成为 Zephyr RTOS 的官方外部模块，使开发者能通过固件构建配置变更轻松在微控制器等边缘设备上部署 PyTorch 模型；演示中量化 MobileNetV2 在 Alif Ensemble E8 DevKit 上以 28ms 完成推理，卷积图运行于 Arm Ethos-U55 NPU。

PyTorch 的 ExecuTorch 新增 Arm Cortex-M 后端，量化模型可直接编译到 CMSIS-NN 内核，核心运行时低于 20 KiB flash，并在 MLPerf Tiny 基准上实现低延迟与低内存占用，使开发者无需离开 PyTorch 生态即可在微控制器上部署模型。

ExecuTorch黑客松是一个为期两天的活动，在旧金山举行，开发者们组建团队使用ExecuTorch框架在边缘硬件上构建和部署PyTorch模型，设有计算、移动+XR和物联网赛道，由Meta、Qualcomm等赞助。

在旧金山州立大学举办的由 Meta 和 Arm 组织的为期两天的黑客松，专注于使用 ExecuTorch 在 Arm 驱动的设备上构建边缘 AI 应用，包括技术讲座、研讨会和奖品。

React Native ExecuTorch v0.10 实现了显著加速，对于像FastSAM这样的AI模型，加速高达92倍，并引入TypeScript管道以提升可检查性和跨平台支持。

Meta introduced Muse Glimmer, an open-weight 30B-parameter model distilled from Muse Spark for on-device agentic workflows, with ExecuTorch now supporting running it on NVIDIA GPUs and Apple silicon.

PyTorch基金会支持了在旧金山举办的ExecuTorch黑客马拉松，超过100名参与者使用PyTorch和ExecuTorch在搭载Snapdragon的三星Galaxy S25 Ultra设备上构建了实时端侧AI应用。获奖项目包括SafeScreen AI、SixthSense和Toddle AI，展示了本地执行在响应性、隐私保护和离线能力方面的优势。

react-native-executorch 库现已集成 Google 的 Gemma 4 模型，可实现完全离线的 GPU 加速推理，在 Android 上使用 Vulkan 委托，在 Apple Silicon 上使用 MLX 委托。

ExecuTorch 现有一个 MLX 委托，可在 Apple Silicon Mac 上为 PyTorch 模型提供 GPU 加速推理，支持大语言模型、语音转文字以及通过 TorchAO 进行量化的 MoE 模型。

ExecuTorch，PyTorch的设备端AI部署框架，在MLSysConf 2026上获得了最佳行业论文奖。该论文提出了一种统一的解决方案，可在从微控制器到SoC的各种硬件上运行模型。

本文介绍了 ExecuTorch，这是一个原生的 PyTorch 部署框架，旨在无需模型转换或重新实现，即可在多样化的边缘设备上运行 AI 模型。