Tag
A hobbyist benchmarks running Qwen 3.6/3.8 MoE models on a £300 Snapdragon X mini PC (optionally dual-boxed via USB4), comparing llama.cpp, Janas, and their own unreleased ToRc engine, hitting 315 tok/s read on the 35B A3B model. The post details hardware setup, MTP head usage, and NPU-assisted CPU inference results.
A LocalLLaMA user reports negative hands-on experiences with the quantized LFM2.5-24B-A2B (Q4_K_M GGUF) model, citing looping behavior, broken code generation on agentic tasks, and poor plugin development results despite using a corrected chat template and Hermes integration.
社区用户询问除 Qwen Flash Next 外还有哪些值得尝试的 50-150B 参数量级 MoE 模型，列举了 GPT OSS 120B、Mistral 4 Small 119B、Qwen 3.5 122B A10b 和 Ling 3.0 Flash 等候选，想获取本地部署和非编码用途的推荐。
A practitioner ran 10 agent harnesses on Qwen3.5-4B across 5 tasks and found that failures came from exact-match edits, literal instruction-following, miscounting, and API mismatches — not malformed tool calls. Six of ten agents passed all tasks, with an 11x spread in run time on identical hardware.
Bits 是一款开源个人智能体，可在本地机器上持续运行的后台守护进程，支持定时任务、断点恢复、Markdown 存储记忆以及可接入任意模型（含本地模型）。
A user successfully ran the 748B-parameter DeepSeek-V4.1-Flash-1017 model at 7.2 tok/s on a €2k used PC with an RTX 3090, using a 1-bit Unsloth UD-IQ1_S GGUF quantization and a custom llama.cpp build with on-demand Engram table loading.
A user shares their positive experience running Qwen 3.8 Flash Next in IQ4 xs quantization via strata, comparing its quality favorably to models they used professionally last year.
开发者发布了一款免费开源的 Claude Desktop 替代工具，支持本地运行、任意 LLM、深度研究能力，并可通过 Docker 自托管连接 40+ 数据源。
Nace.AI's Kapitsa 0.2 ships KFlash, a best-first tree-based speculative decoding method for Apple Silicon, benchmarked against Splash 1.4.0's DFlash2, mlx-serve, Ollama, llama.cpp and others on Qwen models across M4 Pro and M1 Pro MacBooks, showing top decode throughput (~65-201 tok/s).
Berth is a system service that automatically swaps and loads AI engines on a single GPU, managing VRAM so tools like ComfyUI, llama-swap, and OpenWebUI don't squander memory or collide. It also exposes engines via a unified API endpoint for seamless switching across workloads, including gaming.
作者因不满 Apple 官方配置器，开发了 modelfit.io——一个专为购买 Mac 运行本地 LLM 的用户设计的配置工具，可实时显示所选 Mac 配置能运行哪些模型及预计推理速度。
Hugging Face 发布 AnyLanguageModel 1.0 及配套 swift-huggingface、swift-xet 1.0，作为 Apple Foundation Models 框架的即插即用替代，支持本地与多种托管推理提供商的统一 API。
GameSummoner 发布一周后更新，大幅简化本地部署，现在只需一行安装脚本即可运行，支持 llama-swap 切换模型、用 ComfyUI 工作流生成游戏，并可与 Claude Opus 5.5、DeepSeek V4.1、Gemini 4 等前沿模型对比效果。
Blockway 团队发布了 Volundr 32B 模型及自研 Agens Engine 推理引擎（MIT 开源），通过让 72 层中的 54 层使用固定大小状态替代增长的 KV cache，使 262K 长上下文能在 16 GB GPU 预算内运行，并演示了 110K token 冷读约 69 秒、后续追问 0.5 秒回答的实测。
A detailed comparison of inference engines running Qwen3.8-27B and Flash-Next on consumer hardware, with verified decode/prefill numbers and cost-per-euro analysis showing two mid-range GPUs can beat a single RTX 5090 by 3–10× per euro, while DDR5 RAM now makes up ~40% of experts-in-RAM builds.
Nace.ai 发布开源（Apache 2.0）Apple Silicon 优化 Metal 推理引擎 Kapitsa，专为 Qwen 和 Nemotron 模型定制内核，并在 M1 Pro、M4 Pro、M5 Max 上公布对比 MLX、llama.cpp、Ollama 等引擎的解码基准。
开发者介绍了 amber-8，一个将 80 年代汇编式确定性代码与本地小决策模型的概率判断相结合的编程实验，用于把自然语言指令拆解为可执行的栈操作代码。
Blockway 发布 Agens Volundr 32B v1，修复 Preview 版的循环与推理截断问题，并开源 MIT 许可的 Agens Engine 推理引擎，其混合状态架构配合 2/3/4 混合量化可在 16 GB 显存预算内运行 262K 上下文（实测至 239K）。
Own 1 是一款无风扇个人 AI 计算机，可在本地运行两个 LLM 和八个智能体，配备 AI 原生操作系统 OwnXOS，起价 3,899 美元且无订阅或按 token 计费。
作者分享了仅用一块 9060 XT 16GB 显卡和 24GB 内存运行 Qwen 3 27B（262k 上下文、IQ4XS 量化）的低成本本地 LLM 方案，使用了一个支持 KV cache 流式与 n-gram 预测的 llama.cpp 分支，达到 42.7 tps 生成速度。