标签
OpenBMB 的工程实践展示了如何通过前瞻性专家调度（LES）在 iPhone 上以每秒 20.51 个 token 的速度运行 35B-A3B 混合专家（MoE）模型，无需跳过专家或改变路由，相关实现已在 llama.cpp-omni 开源。
作者利用 Apple 设备内置的 3B 参数本地模型（通过 Apple Neural Engine 运行）为其 OpenClaw 智能体团队构建了一个答案校验系统，用以检测并拦截工具输出中的幻觉或错误回答，且不占用主模型算力和带宽。
Gradium 发布了首个开源模型 Phonon，这是一组 31M 和 40M 参数、专为边缘/设备端运行设计的 TTS 模型，其推理栈完全开源并支持 CPU、GPU、NPU 等 10 多种后端（大多基于 Rust）。
Tinkerbox 是一款可将 LiquidAI d1-3B 等决策模型高效运行在 Apple Neural Engine 上的应用，支持通过 macOS Shortcuts 触发器实现无代码自动化，延迟低至约 40ms，并计划集成 vLLM/Qwen3.5 系列模型。
@TheAhmadOsman 展示了在 RTX Spark 设备上运行 Qwen 3.8 Next Flash 模型可以实现一些有趣的效果，体现了小型本地模型在边缘硬件上的推理潜力。
有参会者表示，Mike Bradley 和 Ahmad Osman 进行的 RTX Spark 笔记本演示的排队人数，甚至超过了试用笔记本本身的队伍，凸显了人们对在新款 RTX Spark 设备上进行端侧 70B 模型推理的浓厚兴趣。
OpenBMB发布了MiniCPM-V 4.7的35B-A3B版本，这是MiniCPM-V系列的首个MoE模型，借助Lookahead Expert Scheduling等技术成为首个能在设备端流畅运行且不损失性能的开源MoE多模态模型，同时在性能与效率上达到新的帕累托前沿。
LemonSeed Studio 0.5.8 通过 eGPU（Thunderbolt 外壳中的 AMD R9700）在 iPadOS 上实现了端侧 LLM 推理，使用统一的 LemonSeed Engine 在 iPadOS、macOS 和 Linux 上运行 Qwen3.8-27B Q4，配合 DFlash2 投机解码达到约 159 tok/s。
MiniCPM-V 4.7 35B-A3B 是 MiniCPM-V 系列中的首个 MoE 模型，现已以 GGUF 量化格式面向 llama.cpp 发布，在 iPhone 17 Pro Max 上仅需 3GB 内存即可实现 13+ tokens/s 的无损端侧多模态推理，并在性能-效率上超越 Qwen3.6 35B-A3B。
Nishant Joshi 认为，用户桌面上的个人设备本就拥有大量闲置算力（约 15 TFLOPS、46 GB 内存），把数据传到云端去处理那些上下文早已在本地的任务纯属浪费。他主张服务器只应用于协调、权限与数据同步，但也承认工程成本、计费信任以及前沿模型等方面的局限。
Cactus Compute 发布了 Whistle，这是一个 16.9MB 的语音转文字模型，在与 Needle 相同的引擎中运行于 CPU 上，支持七种语言，声称在文件体积小 9 倍、速度快 6 倍的情况下，准确率大多优于 Whisper base。
这篇立场论文提出了「模型即库」（Model as a Library，简称 MaaL）这一软件架构，它将小型、由社区招募数据训练而成的语音模型打包为带版本管理的设备端依赖项，用于低资源非洲语言场景下离线且无幻觉的数据采集。论文提出利用关键词识别，将封闭词表的数字表单转变为面向识字率较低人群的语音化、设备端数据采集流程，并将现有的表单工具转译为 MaaL 模式。
HybridInfer引入了针对多层大语言模型推理的热感知强化学习路由器，在真实Android设备上实现了比启发式方法更优的质量和成本效率。
本文介绍了一种用于在WeBe Band可穿戴设备上训练和部署机器学习模型的精简流水线，专注于系统级自动化和硬件感知优化，以实现快速迭代和设备端评估，适用于边缘AI应用。
LeanStream是一种流式推测与精炼框架，通过逐步优化计算和I/O操作，实现高效的设备端LLM推理，减少内存使用并提高吞吐量。
Apple的Lily引擎通过利用统一内存和硬件，优化了Apple silicon上的设备端LLM推理，性能超越MLX-LM，并针对Qwen3.6-35B-A3B模型架构进行了调优。
Ling-3.0-flash MXFP4 是一款量化模型，已发布并可在单个 DGX Spark 上本地运行，实现约 80 tok/s 的解码速度和 2,500–3,500 tok/s 的长输入预填充速度，从而为编码、智能体和离线批处理任务提供私有的设备端推理。
MacPaw 与 Liquid AI 合作，将设备端 AI 推理和本地内存引入其产品和应用商店，计划向开发者提供该技术栈，并推出基于积分的 AI 定价。
Google 发布了 LiteRT.js，这是一个高性能的 JavaScript 运行时，利用 WebAssembly 和硬件加速直接在浏览器中运行 AI 模型，是 TensorFlow.js 的演进。
Xenova 使用 Fable 5 编写优化内核，在 M4 上的 WebGPU 中为 Gemma 4 实现了每秒 255 个 token 的速度，展示了用于端侧推理的代理内核优化。