on-device

AI Rep Counter 是一款运行在设备端的 iOS 应用，通过 iPhone 摄像头利用 AI 计数重复次数并分析锻炼姿势，提供隐私模式、锻炼指标和小组件等功能。

ExecuTorch，PyTorch的设备端AI部署框架，在MLSysConf 2026上获得了最佳行业论文奖。该论文提出了一种统一的解决方案，可在从微控制器到SoC的各种硬件上运行模型。

Supertone released Supertonic 3, an open-source TTS model with 99M parameters that runs faster on CPU than a 2B model on A100, supporting 31 languages and ONNX Runtime for fully local inference.

Supertonic 是一款新的开源TTS引擎，通过ONNX在设备上运行，支持31种语言，在速度上超越ElevenLabs，即使在无GPU的树莓派上也能运行。

OpenAI Codex模型在移动设备上的实现或适配，能够在智能手机上进行代码生成和辅助。

Hedy会议应用现在支持通过llama.cpp使用本地模型（如Qwen和Gemma）进行完全离线的AI摘要，并提供自带模型和硬件感知模型选择选项。此次更新使得在Apple Silicon和Windows GPU上无需Wi-Fi即可运行，不过云端仍提供更快的速度和更高的质量。

Supertonic is a lightning-fast, on-device TTS model with 99M parameters, supporting 31 languages. It runs locally with no API costs, outperforms cloud TTS on accuracy for numbers, phone numbers, and technical terms, and can be installed via Python, Node.js, Rust, Go, and more.

Google 的 Gemma 4 通过推测解码和多 Token 预测，推理速度提升高达 3 倍，可实现高效的设备端部署。

BlankOut 是一款在本地设备上先对文档中的敏感内容进行打码，再分享给 AI 服务的工具。

Google 的 Gemma 4 E2B/E4B 量化模型现已通过 Locally AI 等应用，在 iPhone 上实现完全离线运行，借助 Apple Neural Engine 进行本地推理。

Google 推出 Gemma 3n 预览版，这是一个移动优先的开源 AI 模型，针对手机、平板电脑和笔记本电脑上的本地推理进行了优化。该模型采用与高通和联发科等硬件合作伙伴共同开发的新架构，利用分层嵌入等创新技术，在最少内存占用（2-3GB）的情况下实现快速性能，同时支持多模态功能。

FluidVoice 是一款适用于 macOS 的开源语音转文字听写应用，通过名为 Fluid Intelligence 的独立私有本地运行时实现设备端 AI 增强。1.6.0 版本带来了更快的 Parakeet 支持、改进的主题样式以及焕然一新的入门体验。