标签
Google AI Edge Gallery v1.0.13 和 v1.0.14 更新增加了对 Gemma 4 的多令牌预测支持、Pixel TPU 优化、实验性 MCP、新技能以及聊天历史保存功能，提升了设备端生成式 AI 能力。
General Instinct 推出一个部署层，使前沿AI模型能够在如 Jetson 和移动 NPU 等受限边缘硬件上运行，帮助机器人技术和物理AI团队实现低延迟离线推理。
一条推文认为，下一波人工智能浪潮将是边缘设备上的紧凑智能，而非更大的数据中心，Liquid AI 支持在手机、汽车和日常设备上运行 AI 的愿景。
VecML展示了其AI-PC软件，在全新的骁龙X2笔记本上对20万文档运行RAG，实现了低token消耗和低内存的检索。该软件将多种数据库功能集成到一个平台中，现已开放macOS的有控测试。
用户分享在移动设备上运行Gemma 4与LiteRT-LM的亲身对比体验，相较于之前的llama.cpp设置，内存占用显著降低（1.5-2 GB vs 4-5 GB），推理速度更快（2-4秒 vs 7-10秒），测试机型包括三星S25 Ultra和iPhone 13 Pro Max。
Jina releases MLX-native embedding models simultaneously with PyTorch versions, highlighting the growing importance of Apple's MLX framework for local AI deployment.
Cactus-Compute 发布了 Needle，这是一个拥有 2600 万参数的开源模型，从 Gemini 蒸馏而来。它采用一种不含 MLP 的新型“简单注意力网络”架构，旨在实现高效的端侧函数调用。
本文重点介绍了 Supertonic，这是一个开源的文本转语音模型，完全在本地设备运行。与 ElevenLabs 和 OpenAI 等基于云端的服务相比，它在速度和格式准确性方面均表现出色。
作者宣布其在 aiDotEngineer 活动上的演讲《基于 MLX 的端侧智能》已上线，并对主办方及社区贡献者表示感谢。
Papel 是一个以研究为导向的新型社交平台，利用 AI 驱动的向量搜索和设备端 RAG，帮助研究人员发现、讨论学术论文并进行自我测验。它提供个性化信息流、通过 Apple Intelligence 或 MLX 进行本地 AI 聊天，以及游戏化学习功能。
作者介绍了SAVI，一款专为ADHD用户设计的iOS应用。该应用利用Whisper和GPT-4o等设备端AI，将语音“脑内倾倒”内容转化为结构化的任务和提醒。
Google Chrome 正在自动向用户设备下载一个 4GB 的 Gemini Nano 模型权重文件，用于支持设备端 AI 功能，如诈骗检测和写作辅助，但通常不会明确告知用户所需的存储空间。用户可以在 Chrome 设置中关闭"设备端 AI"开关，以删除该文件并阻止重新下载。
Garry Tan 对一款可在 128GB MacBook Pro 上本地运行的模型感到兴奋，该模型拥有 100 万 token 的上下文窗口和编程智能体能力，他认为这是一个重要里程碑。
atomic.chat 优化了 Gemma 4 26B 在 LLaMA.cpp 中的推理性能，在 MacBook Pro M5 Max 上通过多 token 预测（MTP）推测解码实现了约 40% 的 token 生成提速。这对运行桌面应用、编程智能体和本地私有助手的本地 AI 用户来说是一个重大利好。
本报告介绍了 X-OmniClaw，这是一个专为 Android 设备设计的统一移动智能体系统，旨在实现多模态理解与交互。报告详细阐述了其利用设备端 AI 能力进行感知、记忆管理及动作执行的架构。
Supertonic 3 是一个轻量级的开权重文本转语音模型，专为快速设备端推理而设计，支持的语言扩展至 31 种，并提升了稳定性及表情标签支持。
麻省理工学院研究人员开发了一种名为 FTTE 的新框架，将隐私保护型联邦学习的速度提升了 81%，使得在智能手表和传感器等资源受限的边缘设备上高效进行 AI 训练成为可能。
腾讯 AngelSlim 团队发布了 Hy-MT1.5-1.8B-1.25bit，这是一款高度压缩的 1.25 位机器翻译模型，支持 33 种语言，体积仅 440MB，可在设备端运行。该模型采用 Sherry 量化算法，实现了世界一流的翻译质量，可与体积大得多的模型相媲美。
Google DeepMind 发布了 Gemma 4，这是一个开源权重的多模态模型家族，支持文本、图像、视频和音频，具备增强的推理和编码能力，并通过多令牌预测（MTP）实现高达 2 倍的解码速度提升。
一位用户思考为何更多 App 不在手机上直接跑本地 LLM，指出 Gemma 2-4B 模型已能离线运行，在接近 GPT-4o 质量的同时还能省掉服务器成本。