标签
PTC-Decoder是一个无需训练、即插即用的框架，通过在词元级约束强制执行计划遵守，提升在离线、资源受限的边缘设备上的小型语言模型性能，增强多步骤代理任务中的步骤级可靠性。
Google Antigravity SDK 引入了在本地 GPU 上完全离线运行像 Gemma 4 这样的开源 AI 模型的能力，确保零 API 成本和完全数据隐私。
SHADOW 50M 是一个紧凑的44M参数AI模型，具有三元权重和固定的512位代码，在45B令牌上从头训练，能够在消费硬件上高速进行离线推理。
一个7.9B MoE模型在M4 Pro上以每秒152个令牌的速度运行，配备64GB统一内存，能够离线处理敏感合同数据，并展示了本地AI的实际应用。
react-native-executorch 库现已集成 Google 的 Gemma 4 模型，可实现完全离线的 GPU 加速推理，在 Android 上使用 Vulkan 委托，在 Apple Silicon 上使用 MLX 委托。
一位开发者通过在NVMe SSD上流式传输模型权重，在树莓派5上运行了DeepSeek-V4-Flash，达到了1.3 tokens/秒的速率，功耗仅8瓦，证明了前沿级别的开放权重模型在低成本、离线硬件上的可行性。
演示了如何使用 WebGPU 和 Transformers.js 在浏览器中离线运行 Gemma 4，并通过 WebSerial 控制 Reachy Mini 机器人。
一位用户思考为何更多 App 不在手机上直接跑本地 LLM，指出 Gemma 2-4B 模型已能离线运行，在接近 GPT-4o 质量的同时还能省掉服务器成本。