标签
现在，一个80亿参数的AI模型可以通过专用应用在iPhone 15上离线运行，实现无需互联网的设备端推理。
AiOS San Francisco 是一场面向 AI 和 Apple 平台爱好者的线下聚会，届时 Wendy Labs 和 MiniMax 将带来关于 Swift 驱动的 AI、机器人、嵌入式设备，以及可在 Mac 上本地运行的 MiniMax H3 视频生成模型的演讲和演示。
The paper compares five parameter-efficient fine-tuning methods on four small language models for on-device personalization, finding LoRA+ best for energy efficiency and QLoRA best for memory-limited deployment.
LiveTranscriber 是一款开源 iOS 应用，可在 iPhone 上完全离线运行 Whisper、Qwen3-ASR、Nemotron、MOSS 和 Qwen3，提供语音转写、多说话人支持、摘要和实时翻译。开发者分享了工程挑战，并邀请 ASR 和端侧 AI 社区提供反馈。
Liquid AI 宣布与 MacPaw 合作，为 Mac 用户带来端侧 AI，并设计专门用于 macOS AI 助手的 Liquid Foundation Models。
ProcAgent 是一个完全在设备端运行的、基于视觉的智能体程序助手，采用提出-验证架构，在 NVIDIA Jetson AGX Orin 上实现实时自适应指导。它支持反应式和主动式两种模式，并支持人在回路中的确认，实现响应式交互，并在用户研究中获得积极评价。
微软宣布NPU和CPU的视频超分辨率功能正式发布，利用设备端AI增强低分辨率视频质量。
Google AI Edge Gallery 是一款实验性测试版应用，让开发者无需构建完整的移动应用即可在设备端测试和评估生成式 AI 模型。它支持模型下载、自定义加载、参数调试、硬件基准测试和多模态工作流，并面向 Android、iOS 和 macOS 开源。
Google Cloud 将 Coaching Agent 原生部署在新的 FIA Formula E GEN4 赛车内，利用 Raspberry Pi 5 和 Google Pixel 10 Pro XL 进行极边缘计算，全程在设备端处理微秒级精确遥测数据，无需远程数据中心。
Google宣布了为Pixel 10的TPU优化的Gemma 4 E2B，实现了设备端多模态AI能力，如离线聊天、图像识别和音频转录。
Prism ML 正在与 Apple 洽谈部署模型缩小技术，使得强大的AI模型能够直接在iPhone上运行，提升隐私性并减少对云端推理的依赖。
LokalBot v0.2.0 更新新增本地智能体模式、用于会议查询的 MCP 服务器、系统级听写以及改进的资源管理，仍保持 100% 本地设备运行和开源状态。
预测两年内，本地AI模型将广泛可用，苹果的Mac Studio将支持大内存以运行本地AI；鼓励现在就开始使用本地AI工具做准备。
本文献综述介绍了MELT，这是一个用于在移动设备上评估大语言模型（LLMs）的基准测试，突显了在手机上运行Transformer的挑战与机遇。
Apple Silicon 高管 Doug Brooks 解读 Mac mini 和 Mac Studio 在 AI 代理工作负载方面需求的激增，强调了苹果集成神经引擎的芯片设计理念，并讨论了出于隐私和成本考虑向设备端 AI 的转变，同时展望了一个混合的未来。
PyTorch基金会支持了在旧金山举办的ExecuTorch黑客马拉松，超过100名参与者使用PyTorch和ExecuTorch在搭载Snapdragon的三星Galaxy S25 Ultra设备上构建了实时端侧AI应用。获奖项目包括SafeScreen AI、SixthSense和Toddle AI，展示了本地执行在响应性、隐私保护和离线能力方面的优势。
谷歌研究院推出了一种新架构，使用冻结的Multi-Token Prediction在Pixel设备上加速Gemini Nano模型，显著提升了设备端AI特性的速度和能效。
苹果计划跳过M6 Pro/Max芯片版本，加速开发M7芯片以增强设备端AI性能，目标2027年发布。此举是为了应对英伟达、AMD、英特尔和高通在AI处理领域的竞争。
Stable Diffusion XL (SDXL) 现在可以使用 WebGPU 在浏览器中本地运行，通过开源代码直接在设备上生成高质量 AI 图像。