标签
OrcaRouter 发布 OrcaCyber Nano 1.0，一个 27B 视觉语言推理模型，以 GGUF 格式打包，可在本地离线运行，面向逆向工程、漏洞分析、安全代码审查等防御性安全工作，并公布多项基准测试成绩。
Meta 发布了 Muse Spark Open，这是一款拥有 8160 亿参数（激活参数为 420 亿）、支持 100 万 token 上下文的开放权重多模态智能体模型，但作者认为其营销具有误导性，因为在本地运行该模型所需的硬件成本高达数万美元，因此对大多数用户而言，通过 API 访问才是现实的选择。
Awni Hannun 展示了两台 M5 Ultra 配合 MLX 所能达到的性能水平，凸显本地 Apple Silicon 推理能力的显著提升。
作者通过修补 llama.cpp，在 2x RTX 4060 张量并行基础上把 DFlash2 草稿模型经 RPC 卸载到 AMD Strix 设备，实现混合 Nvidia+AMD 硬件下上下文从 150k 提升到 195k 且不损失性能，并附上了可复现的构建补丁与 PR 合并步骤。
AtomicChat 发布了 inclusionAI Ling 3.1 flash 的 GGUF 量化版本，采用其自研的 Atomic Dynamic 布局与公开校准语料，覆盖从 Q8_0 到实验性 1-bit 的多种量化档位，可在 llama.cpp 上本地运行。
一位用户分享了对新发布的 LiquidAI LFM2.5-24B-A2B 模型的实测体验，称其在 llama.cpp + ROCm 上可达约 95 tps，Q8 量化占 30GB 显存并支持 128k 上下文，在 Pi Agent 工作流中表现稳定可靠。
一位搭建者分享了三台自托管推理服务器，每台配备 4 张 Radeon AI PRO R9700 显卡（每台约 1.07 万美元，总计 384GB 显存），通过 vLLM-Radiance/ROCm 运行 Qwen3.8-27B，并提供了详细的吞吐量、延迟和长上下文基准测试结果。搭建这些服务器的起因是托管模型开始拒绝执行枪械行业研究任务。
Kokon 是一款零配置的开源桌面应用，让用户在本地 GPU（12GB+）上直接使用 Qwen-Image 2.1 进行 GPT-Image 风格的照片编辑，基于 stable-diffusion.cpp，内置 MCP 服务器和 HTTP API。
Private Mind 开源应用在 iOS 和 Android 上为本地运行的 1.7B 模型（Qwen 3 1.7B）新增了完全在设备端运行的网页搜索功能，无需搜索 API 或后端：通过隐藏的 WebView 解析 DuckDuckGo/Brave/Mojeek 的搜索结果，用 LFM2.5 嵌入模型挑选最佳文本块，供模型作答并引用来源。
一个关于 Strata 模型实际缺点的社区讨论，对比其在 agentic 工作负载中与 Qwen 27B 及其他量化模型在 llama.cpp 上的表现，关于质量损失与速度提升的报告褒贬不一。
演示中，Qwen3.8-27B 使用 UD-Q2_K_XL 量化和全量 Metal 卸载，在配备 16GB 统一内存的 M1 MacBook 上本地运行，生成速度达到约 4 token/秒（使用推测解码时约为 5.5 token/秒）——这表明，大型开放权重模型可以在许多人已经拥有的硬件上运行。
Quartermaster 1.7 发布，新增对 llama.cpp 新决策模型（/v1/systemone）的支持，包括自动发现决策 GGUF 模型、带概率条的 Playground 测试标签页，以及通过调度器和 API 密钥代理 /v1/systemone 请求。
一位社区作者对所有能在 10–16GB 显存上运行的大语言模型进行了排名，评估了 Gemma 4、Qwen 3.6、GLM-4.7 Flash 和 Mistral 等模型在本地角色扮演场景中的速度、连贯性、多语言处理能力、低质生成模式、指令遵循能力和内容审查程度。
Project Maya 是一个开源工具，可在本地 GPU 上运行 321B 参数的 GLM-5.3-Flash 模型，通过分层存储（GPU/RAM/NVMe）和自动调优实现单卡 30+ tokens/s 的推理速度，并提供 OpenAI/Anthropic 兼容 API。
一段视频演示展示了完全由本地运行的 Clef-Flash 9B 决策模型处理网页浏览任务的过程。该模型在运行时提取页面文本以指导决策，并在 11–17 秒内完成任务，但在复杂用户界面上的性能会下降。
作者分享了 Qwen-image2.1 "去审查版" 的本地部署教程，称在仅 8G 显存的 RTX 5060 上即可运行，并整理了 5 个常见坑点，提醒大家适度使用。
一位用户分享了在 RTX 2060 6GB 显存 + 32GB 内存的消费级硬件上运行 Qwen 3.6 35B A3B（Q4_K_M 量化）的 llama.cpp 完整启动配置，实现了 131K 上下文与视觉能力，约 600 tok/s 预填充与 23 tok/s 解码速度，通过将 MoE 专家层与视觉投影器卸载到 CPU 来控制显存占用。
一位开发者宣布他将全力投入，花费 $7,200 购买 256GB 的 DDR5，押注内存价格将持续上涨，本地硬件将让他能够在家运行 AI 推理并最终训练模型，他将此比作一项增值资产。
AtomicChat 发布了 Qwen-Image-2.1-Turbo 的无审查（uncensored）GGUF 量化版本，量化阶梯从 3.3 GB 到 16.4 GB，可使用 llama.cpp、Ollama、LM Studio 等工具在本地运行图像生成。
开发者 loktar00 展示 GLM 5.3 Flash 在本地 RTX 3090 显卡上通过 JavaScript 直接生成图像（而非专门的图像模型），展示了开源模型在消费级硬件上的强大本地推理能力。