标签
一位爱好者在一台售价 £300 的 Snapdragon X 迷你主机（可通过 USB4 双机互联）上对 Qwen 3.6/3.8 MoE 模型进行了基准测试，对比了 llama.cpp、Janas 以及他自研的未发布 ToRc 引擎，在 35B A3B 模型上达到了 315 tok/s 的读取速度。文章详细介绍了硬件配置、MTP 头的使用以及 NPU 辅助 CPU 推理的结果。
一位 LocalLLaMA 用户分享了量化版 LFM2.5-24B-A2B（Q4_K_M GGUF）模型的糟糕实测体验，指出其存在循环复读、在 agentic 任务上代码生成崩溃，以及即使使用了修复后的聊天模板和 Hermes 集成，插件开发结果依然很差。
社区用户询问除 Qwen Flash Next 外，还有哪些值得尝试的 50–150B 参数量级的 MoE 模型，列举了 GPT OSS 120B、Mistral 4 Small 119B、Qwen 3.5 122B A10b 和 Ling 3.0 Flash 等候选模型，希望获得适合本地部署和非编程用途的推荐。
一位实践者在 Qwen3.5-4B 上使用 10 种智能体运行框架测试了 5 项任务，发现失败源于精确匹配编辑、机械地遵循指令、计数错误和 API 不匹配，而非工具调用格式错误。10 个智能体中有 6 个通过了全部任务，在相同硬件上，最长运行时间是最短的 11 倍。
Bits 是一款开源个人智能体，可在本地机器上持续运行的后台守护进程，支持定时任务、断点恢复、Markdown 存储记忆以及可接入任意模型（含本地模型）。
一位用户在一台配备 RTX 3090、价值 2000 欧元的二手 PC 上，使用 1 位 Unsloth UD-IQ1_S GGUF 量化版本和支持按需加载 Engram 表的自定义 llama.cpp 构建版本，成功以每秒 7.2 个 token 的速度运行了拥有 7480 亿参数的 DeepSeek-V4.1-Flash-1017 模型。
一位用户分享了通过 strata 运行 IQ4 xs 量化版 Qwen 3.8 Flash Next 的良好体验，认为其表现优于自己去年在工作中使用的模型。
开发者发布了一款免费开源的 Claude Desktop 替代工具，支持本地运行、任意 LLM、深度研究能力，并可通过 Docker 自托管连接 40+ 数据源。
Nace.AI 的 Kapitsa 0.2 随之推出 KFlash——一种面向 Apple Silicon 的基于 best-first 树搜索的投机解码（speculative decoding）方法。该方法在 M4 Pro 和 M1 Pro MacBook 上，基于 Qwen 模型与 Splash 1.4.0 的 DFlash2、mlx-serve、Ollama、llama.cpp 等方案进行了基准测试，展现出顶尖的解码吞吐量（约 65–201 tok/s）。
Berth 是一个系统服务，能够在单张 GPU 上自动交换和加载 AI 引擎，管理显存占用，让 ComfyUI、llama-swap、OpenWebUI 这类工具不再浪费显存或相互冲突。它还通过统一的 API 端点暴露引擎，实现跨工作负载的无缝切换，包括游戏场景。
作者因不满 Apple 官方配置器，开发了 modelfit.io——一个专为购买 Mac 运行本地 LLM 的用户设计的配置工具，可实时显示所选 Mac 配置能运行哪些模型及预计推理速度。
Hugging Face 发布 AnyLanguageModel 1.0 及配套 swift-huggingface、swift-xet 1.0，作为 Apple Foundation Models 框架的即插即用替代，支持本地与多种托管推理提供商的统一 API。
GameSummoner 发布一周后更新，大幅简化本地部署，现在只需一行安装脚本即可运行，支持 llama-swap 切换模型、用 ComfyUI 工作流生成游戏，并可与 Claude Opus 5.5、DeepSeek V4.1、Gemini 4 等前沿模型对比效果。
Blockway 团队发布了 Volundr 32B 模型及自研 Agens Engine 推理引擎（MIT 开源），通过让 72 层中的 54 层使用固定大小状态替代增长的 KV cache，使 262K 长上下文能在 16 GB GPU 预算内运行，并演示了 110K token 冷读约 69 秒、后续追问 0.5 秒回答的实测。
# 在消费级硬件上运行 Qwen3.8-27B 与 Flash-Next 的推理引擎详细对比：经验证的解码/预填充性能数据与每欧元成本分析——两块中端 GPU 的每欧元性价比可超越单块 RTX 5090 达 3–10 倍，而 DDR5 内存在专家模型内存驻留（experts-in-RAM）构建中的成本占比现已达到约 40%
Nace.ai 发布开源（Apache 2.0）Apple Silicon 优化 Metal 推理引擎 Kapitsa，专为 Qwen 和 Nemotron 模型定制内核，并在 M1 Pro、M4 Pro、M5 Max 上公布对比 MLX、llama.cpp、Ollama 等引擎的解码基准。
开发者介绍了 **amber-8**，一个将 80 年代汇编式确定性代码与本地小决策模型的概率判断相结合的编程实验，用于把自然语言指令拆解为可执行的栈操作代码。
Blockway 发布 Agens Volundr 32B v1，修复 Preview 版的循环与推理截断问题，并开源 MIT 许可的 Agens Engine 推理引擎，其混合状态架构配合 2/3/4 混合量化可在 16 GB 显存预算内运行 262K 上下文（实测至 239K）。
Own 1 是一款无风扇个人 AI 计算机，可在本地运行两个 LLM 和八个智能体，配备 AI 原生操作系统 OwnXOS，起价 3,899 美元且无订阅或按 token 计费。
作者分享了仅用一块 9060 XT 16GB 显卡和 24GB 内存运行 Qwen 3 27B（262k 上下文、IQ4XS 量化）的低成本本地 LLM 方案，使用了一个支持 KV cache 流式与 n-gram 预测的 llama.cpp 分支，达到 42.7 tps 生成速度。