local-llm

一位使用 128GB Mac Studio M1 Ultra 的用户对比了本地运行 Qwen 3.8 Flash Next 和 DeepSeek V4 的体验，指出 Flash Next 基准测试分数更高，但完成每个任务所需的时间却长得多，并质疑质量与速度之间的实际权衡是否值得。

tqLLM 是一个 C++/CUDA 本地 LLM 推理引擎，支持 OpenAI 兼容 API 与 TurboQuant GGUF 权重，在 RTX 3090 和 RTX 5060 Ti 上实现 240+ tok/s 的解码速度、200K+ 长上下文以及不改变输出的投机解码。

一位开发者分享了他用二手硬件组装的双 RTX 3090 本地 LLM 主机，并询问为何多 GPU 推理性能提升不及预期，以及如何定位瓶颈和优化配置。

一位开发者认为，在用 eBay 上的低价硬件组装的服务器上本地运行 Qwen3.8FN Q4，比使用几乎所有云端模型都便宜（启用缓存的 GPT-6 Luna 和 Claude Haiku 5.5 除外），因此可以让智能体运行更长时间，取得比成本高得难以承受的前沿云端模型更好的结果。

一位独立开发者发布了 SteerClaw Mobile，这是一款在手机端完整运行智能体循环的 Agentic 移动应用，支持 Qwen 等本地 LLM，兼容 MCP 服务器和搜索提供商，采用严格的隐私优先设计。目前已在 Apple TestFlight 和 Google Play 上开放早期测试与反馈。

LlamaForge v0.16 推出了一款免费开源的 llama.cpp 浏览器控制面板，新增了名为 Embers 的本地代理功能，要求代理逐字引用来源并由代码校验引用真实性，另附本地语音播报功能。

一位用户分享了如何使用完全本地部署的 AI 技术栈为 40 名员工（其中 10 名开发者）提供服务：该技术栈由一台配备 4 张 RTX 6000 Blackwell MaxQ GPU（384GB 显存）的 4U 服务器驱动，通过 vLLM 运行 DeepSeek V4 Flash，通过 llama.cpp 运行 Qwen 3.8 27B 和 K2-Horizon 7B，并结合 n8n 自动化、OpenWebUI、Whisper/Vexa AI 的 Teams 会议转录功能，以及用于营销的 ComfyUI。

作者开源了一个类 Cotypist/Granola 的桌面应用 LokalBot，利用本地 Gemma 4 E2B（6bit 量化）基于自有会议记录实现约 50ms 延迟的打字自动补全，并在 782 个预测点上对比 Cotabby 取得略优表现。

# 单卡 RTX 5090 运行 Qwen3.8-Flash-Next 125B-A6B：strata-nvfp4 引擎性能实测 有用户在**单张 RTX 5090** 上，使用 **strata-nvfp4** 引擎（Strata 的 NVFP4 分支）运行 **Qwen3.8-Flash-Next 125B-A6B** 混合 MoE 模型，并分享了「小马挑战」的性能数据。 ## 测试任务 「小马挑战」要求模型生成一段 HTML，其中包含一个 Three.js 低多边形风格的奔跑小马动画。 ## 性能数据 | 指标 | 数值 | | --- | --- | | 生成步数 | 87 步 | | 输出 token | 12.4 万 | | 平均解码速度 | 103 t/s | | 缓存命中率 | 99% | ## 亮点 - **单卡跑大模型**：125B 总参数、6B 激活参数的混合 MoE 模型，在一张 RTX 5090 上即可流畅推理。 - **高吞吐解码**：平均 103 t/s 的解码速度，足以支持长内容的一次性生成。 - **极高的缓存命中率**：99% 的命中率说明 KV 缓存复用非常充分，长上下文场景下开销极低。 - **NVFP4 量化收益**：借助 strata-nvfp4 引擎的 4-bit NVFP4 路径，模型权重与计算密度得到显著压缩，才使得如此规模的模型能在消费级显卡上运行。 ## 小结 这份实测表明，在 Strata 的 NVFP4 分支加持下，消费级单卡已经能够以实用速度运行百亿级激活参数的 MoE 模型，为本地大模型部署提供了新的可能性。

一位用户分享了购买两台 Nvidia DGX Spark（约6100美元/台）的经历，用于学习和编程工作流，并询问 GLM 5.3 flash 的本地部署配方以及 Nvidia 论坛是否是获取相关资讯的最佳渠道。

一位开发者在 Mac Mini M5 上为 SSD 流式传输 Qwen Flash Next 实现了 n+2 前瞻专家预测优化，在聊天场景下实现了 +8% 的 token 吞吐量提升，代码场景下提升了 +4.2%，相关代码已在 GitHub 上开源。

SonicBoom v0.0.1 是一个原生 C++/CUDA 张量运行时，配备图编译器，在笔记本电脑的 RTX 3050 上，使用与 llama.cpp 相同的源自 ggml 的量化内核，实现了 52 tok/s 的解码速度，而 llama.cpp 为 45 tok/s，这表明如今的性能提升来自编译器层，而非手写内核。

用户 yibie 发文吐槽 Strata 开发者态度，称对方在被请求添加 strata-mlx 支持两天后就以"mac 一天就能支持"为由拒绝，随后附上 Strata 项目 README——该开源工具可在 12GB 以上显存的普通游戏 PC 上运行 1250 亿参数的 Qwen3.8-Flash-Next 模型。

作者发现 REA 结合算力舱与本地大模型（如 GLM 5.3 Flash、Qwen 3.8 27B）在一小时内成功逆向 WorkBuddy 读取微信聊天记录的机制，称赞其本地模型不会像在线模型那样拒绝，并开源了相关逆向方案。

LocalLightChat (LLC) 推出重大更新，新增 Agents、MCP、RAG 和图像编辑功能，同时保持轻量级特性，可运行在老旧硬件上，作为 Open WebUI 的轻量替代方案。

NVIDIA 的 CUDA 软件生态正推动 RTX Spark 笔记本热销，微软 Surface Laptop Ultra 的 128GB 统一内存顶配版（$5,899.99）已售罄，凸显开发者对本地运行大型 AI 模型的强劲需求。

作者开源了 whatmodel.sh，一个本地 AI 模型排行榜，用户输入 RAM 和 GPU 即可查看可本地运行的模型、排名及运行命令，并可与 API 模型对比分数。每个模型的分数基于 19,731 个已发表基准结果拟合，代码与数据完全开源。

shad0w 是一个轻量级缓存代理，部署在任何兼容 OpenAI 接口的本地 LLM 服务器前端，学习模型的分类答案，并在约 1,000 个样本后编译出一张查询表，以微秒级速度响应重复查询，保证与模型答案的一致率达到 95% 以上。采用 Apache-2.0 许可证，以 Python/JS/C 编写，并提供了一个演示，展示它如何从 LLM 的操作中学会玩贪吃蛇。

strix-llama.cpp 的 rdna35-perf 分支为 Strix Halo（Radeon 8060S）带来新的 RDNA3.5 闪存注意力与 GEMM 内核优化，提示词处理速度比 Vulkan 快 21–54%，在 128k 长上下文下最快可达原版 ROCm 的 2.7 倍，且输出质量与原版 ROCm 基本一致。

显存短缺把所有能本地运行大模型的设备价格全线推高，旧指南数字全部失效；文章对比了 Strix Halo 迷你主机、Mac Studio M5 Max 与 DGX Spark 在 decode/prefill 速度与价格上的取舍，指出 MoE 模型才是 128 GB 机器的意义所在。