标签
NIDO v0.1.64 发布，这是一个完全运行在手机上的开源 AI 助手，无需账号或云服务，支持本地模型（Qwen、Phi、Gemma 等）、加密记忆、蓝牙/Wi-Fi 设备间通信、离线急救指南及严格隐私控制，两天内连续更新十个版本。
NInfer v0.3.0 是一个用于在魔改 22 GB RTX 2080 Ti 上运行 Qwen3.6/8-27B 的推理引擎，新增了 Windows 原生支持和预编译发布版本，将二进制文件压缩至 0.28 GB，配合 MTP 投机解码最高可达 47.5 tok/s 的解码速度。
一位开发者在搭载 M5 Max 的 MacBook Pro 上，使用本地 Qwen 3.8 27B 模型对 10 个编程智能体进行了基准测试，比较了通过率、词元用量、缓存复用和沙盒行为。Pi 最为精简，而 Qwen Code 的词元消耗最高，还有几个智能体尽管设置为离线模式，仍尝试访问网络。
介绍 ASK，一款基于本地 LLM 和检索增强生成（RAG）的独立桌面知识助手应用，支持 Qwen、Llama 等多种本地模型，使用 Python 与 CustomTkinter 构建。
开源项目 ai-phone 让 Mac 直接接管真实电话线路，所有语音识别、大模型推理和语音合成都在本地完成，通话数据不出机器，支持实时打断和编码智能体通过 CLI 编排通话。
Basalt（Strata 的一个分支）合入了新的 PR，搭配 IQ3_S 量化的 Qwen3.8 Flash Next，在单张 RTX 5080 和 64GB DDR5 内存的配置下创下了新的基准测试纪录：在实时 opencode 编程会话中，提示词处理速度达到 5500 token/秒，峰值生成速度高达 275 token/秒。
一位爱好者使用 5060 Ti，在 50 个提示词上对 39 个本地大语言模型进行了基准测试，随后让四个前沿大语言模型（Gemini 3.8、GPT-6.1 的不同变体、Gemini 4）对输出进行评分，结果将 Bonsai-2 27B 和 Underdog-Saluki 27B 列为能力最强的模型，同时将 Nanbeige4.2 3B 和 Gemma-4 12B 等较小模型评为最适合微调的基础模型。
一位用户在配备 4 张 R9700 GPU 的硬件配置上，对比了 Qwen 3.8 27B 与 Nanbeige 4.3 33B 在实际场景中的吞吐表现，发现 Qwen 在词元生成速度和每小时任务量上分别领先约 25% 和 45%，且在思考模式下准确率更高。
一篇探讨新型低成本 IP KVM 控制器的文章，这些控制器通过 MCP 与本地或前沿视觉 LLM 集成，让 AI 通过 HDMI 采集和 HID 键鼠模拟来操控目标计算机，无需在目标机器上安装任何软件。文中介绍了 Sipeed NanoKVM Pro、Radxa Linkr 和 Violoop 等多个选项，适用于老旧工业系统和受管控的企业终端等场景。
一款开源桌面应用，集漫画阅读器、日语 OCR、本地大语言模型翻译浮层和可感知当前页面内容的聊天助手于一体，在保持原始画面完整的同时，提供并排对照翻译。
Magnitude 是一个开源的 Rust LLM 推理引擎，能够根据你的本地硬件自动调优 GPU kernel，声称在 MacBook 上解码速度比 Ollama 快 2.7 倍，预填充速度快 1.6 倍，并支持一键集成到 Claude Code 和 Codex 等 agent 中。
Delta Inference Engine 是一个 Windows 原生推理引擎，可在单张消费级 NVIDIA GPU 上以 2-bit 量化运行 5520 亿参数的 DeepSeek-V4.1-Flash-1017，RTX 3090 上生成速度达 41 tok/s，并提供 OpenAI 兼容 API。
一位开发者搭建了配备两块 RTX 5060 Ti 显卡（共 32GB 显存）的本地 GPU 基准测试服务器，运行 vLLM，对 12 个从 4B 到 35B 的量化开放权重模型进行了完整基准数据集测试，并加入了实际耗时效率评分，最终在 llmbenchmarks.io 上发布了可排序的测试结果。
Survival LLM 是一款免费的开源 AI 助手与应急参考库，可在个人电脑上完全离线运行，针对急救和灾难预防等问题提供答案，并引用 FEMA、CDC 和 Wikipedia 等权威来源的内容。
AtomicChat 发布了基于 LiquidAI/LFM3-1.7B 的安全消融版 GGUF 模型，通过投影秩-1 LoRA 移除了对有害提示的拒答（从 61.7% 降至 0%），同时在 MMLU 上无精度损失，并提供 AD-Q6_K 和 AD-Q4_K_M 量化版本。
erusev 与 llama.cpp 团队合作开发了 Llama，一款可在 Mac 菜单栏运行开源模型的小型应用，并发布了 35 秒演示视频。
OpenJet 的新版本在单张 RTX 3090 上通过自定义 CUDA megakernel 引擎并行服务最多 4 个编码代理，总吞吐达约 290 tok/s，是 llama-server --parallel 的 3-4 倍。核心思路是每步将所有活跃代理的工作堆叠成一个批处理，权重只读一次并用张量核同时处理所有行。
Hob 是 Frigade 开源的桌面应用，号称 Claude Cowork 和 ChatGPT 的本地替代方案，可自动挑选适合用户电脑的前沿开放权重模型，支持离线运行与隐私保护。
Off Grid AI 推出了一款免费开源的本地 AI 应用，可在手机和电脑上离线运行模型，支持聊天、文档阅读、图像问答、语音对话和图像生成，并可在设备间协同调用更大的模型，无需联网或账号。
一项针对 8 款本地 AI 编程代理默认遥测行为的分析发现，其中 5 款默认会向 PostHog、Statsig 和阿里云等服务发送使用情况分析数据，只有 Crush 遵循 DO_NOT_TRACK 设置。该文章详细列出了每款代理的数据发送目的地，并提供了各工具关闭跟踪的开关和用于禁用跟踪的 shell 环境变量导出命令。