标签
作者对比了通过 Z.ai 云订阅与本地部署的 GLM 5.3 Flash 在相同任务上的表现，本地推理在输出几乎相同的情况下快了 4.2 倍，指出本地 AI 除省钱外的最大价值是节省时间、提升代码产出效率。
Manning Books 正在免费提供电子书《Local AI and Small Language Models》，内容涵盖小型语言模型、使用 GGUF 和 llama.cpp 进行 CPU 推理、量化技术、LoRA/DoRA 特化微调，以及利用 Ollama 的 Python 库构建私有本地 AI 应用等章节。
Alex Funk 推出 SparkHome，这是一款由本地 AI 驱动的智能家居框架，可在个人设备上而非云端运行语音智能体、物联网控制和 AAA 级游戏优化（通过面向 GB10 的 GameSpark 实现）。
braindead-local-intelligence 是一个基于 Podman 的简单项目，可在 Linux 机器上搭建本地 AI：将兼容 OpenAI 的 LLM 服务器、图像生成服务器、SearXNG 网络搜索和 Open WebUI 集成到同一个访问地址下，每次仅在显存中加载一个模型，并在空闲时将其卸载。
Ava 是一个在浏览器中运行的完全本地化 AI 虚拟形象，由通过 WebGPU 运行的 LFM3-Omni 模型驱动，并以 Hugging Face Space 演示的形式提供。
WiCi 是一个系统研究实验室，发布了首款无线 eGPU，让设备可通过 Wi-Fi 7 访问附近的 GPU，用于本地 AI 推理和共享计算，同时将模型与数据保留在本地控制之下。
video-grep 是一款以终端为主要交互界面的工具，让你能够用简单的英语描述动作或场景来搜索视频内容，通过在本地为视频帧建立索引，无需离开 SSH 会话即可找到精确的时间戳。
NVIDIA 发布 RTX Spark 笔记本，将 Grace CPU 与 Blackwell GPU 封装在同一芯片上，共享最高 128GB 统一内存，AI 算力达 1 petaflop FP4，面向本地大模型运行场景。
作者分享了一则轶事：在透露自己使用 GPU 在本地运行 Qwen 后，失去了一家获风投支持的 AI 公司的工作机会，引发了人们对招聘中偏好前沿 AI 的倾向的讨论。
一场讨论认为，企业本地部署人工智能将大幅增长，因为公司希望保护数据隐私，而本地模型已经足以胜任大多数任务，只缺一个即插即用的解决方案。
向 Unsloth AI 团队致敬，感谢他们推动本地 AI 的发展，并强调这些功能如何降低入门爱好者的使用门槛，以及支持更广泛的“智能体时代”浪潮。
作者开发了语音转文字应用 WhisperNow，并使用包含 6.6 万条数据的数据集微调了三个大语言模型（LFM2.5 1.2B/2.6B、Qwen3.5 4B），以在本地清理口语中的不流畅表达，在短篇口述转写的事实准确性上超越了多个云端模型。
NVIDIA 推出了来自各大 OEM 厂商的全新 RTX Spark 轻薄笔记本，并发布了开放权重的 Nemotron 3.5 Transcribe 语音模型、面向智能体的 GPU 资源管理工具，以及支持 DLSS 4.5 和路径追踪的全新游戏。
Opera 推出了 WebAI，这是一项新的 Web 标准，可让用户直接在浏览器中运行谷歌 Gemma 和苹果端侧基础模型等开放权重 AI 模型，无需依赖云端。该标准首次以早期预览版形式在 Opera One 中亮相。
Hob 是一款免费的开源桌面 AI 应用，支持 Mac、Windows 和 Linux，完全在本地设备上运行，可自动选择最佳本地模型，并能读取/编辑文件、填写 PDF、为电子表格生成图表以及搜索网络，同时所有数据均保留在本地，支持离线使用。
一条推文给出了作者心目中的本地 AI 模型前三名：DeepSeek v4.1 Flash 1017、GLM 5.3 Flash 和 Qwen 3.8 Next Flash。
开源项目 Observer 的开发者分享了一段视频，认为即使 AI 泡沫破裂，本地 AI 模型仍将持续进步，并推广了自己的 YouTube 频道，供观众获取更多本地 AI 相关内容。
NVIDIA 在 GTC 柏林展示其本地 AI 硬件全线产品，包括 RTX Spark、DGX Spark 64GB 和 DGX Station，并宣布多项新产品、软件更新及对 Nemotron、DeepSeek、Qwen 等新模型的首日支持。
一位非程序员分享了他如何将前沿 AI 用于构建基础设施，并搭配一支本地 LLM 智能体团队（在 Strix Halo 设备上运行 GPT-OSS 120B，以及在 RTX 5090 上运行 Gemma 31B），搭建了一个基于 NAS 的庞大个人图书馆，涵盖书籍、艺术、照片和 Wikipedia 数据，并利用这些智能体在数 TB 的内容中挖掘关联和有趣的知识点。