标签
用户分享了用 Strata 替换 llama.cpp 运行 Qwen 3.8 Flash Next 的体验，解码速度从 70–80 tk/s 提升至 150 tk/s，并顺带测试了 DeepSeek v4.1flash 的 2.25 位量化版本在多 GPU 上的表现。
一位开发者对比了在本地运行 Qwen3.8-Flash-Next（llama-server + ROCm 上的 UD-Q4_K_XL）与在 Claude Code 中使用 Claude Opus 审查同一个真实 Swift 提交的效果：Qwen 产生 8 个发现，零误报，并抓住了 2 个 Claude 遗漏的问题，但漏掉了另外 5 个问题，因此它更适合作为可靠的私密初审工具，而非最终裁决者。
Strata 最新更新显著提升了 AMD R9700 用户在 Flash Next 中的推理性能，token 输出大致翻倍，从约 70 tok/s 提升到 140-160 tok/s，但仍落后于 Radiance。用户提到量化限制（Q5 差一点点显存不足以启用 split-engine 模式），并希望未来的更新能进一步缩小差距。
作者报告 RTX 8000 48GB 的价格已降至约 2100 美元，而 RTX 3090 的价格大致翻了一倍，他认为 RTX 8000 可能现在是家庭实验室（home-lab）环境下将大型本地模型完整跑在显存中的最佳'全能'选择。
一位用户分享了自己使用本地 Qwen 3.8 27B 模型分析 16 年的市议会会议记录，以追溯 Flock 摄像头的审批过程，并征求有关抓取 YouTube 自动转录文本以输入其大语言模型的建议。
一位几乎不会编程的用户分享了自己如何完全通过氛围编程，借助 Open Code v2.0，使用在 RTX 5090 上通过 LM Studio 本地运行的 Qwen 3.8 27B，构建了自己的桌面开票应用，每年节省 100 美元的软件订阅费用。
一位爱好者基准测试将本地运行的量化模型（Qwen3.8-Flash-Next、Qwen3.8-27B、Gemma 4）与 Claude 系列模型放在 9 个真实的 C++/CUDA 修 bug 任务上对比，发现 3-bit 量化对得分影响很小但会让模型思考更久；本地 Flash-Next 的表现大致与 Claude Haiku 5.5 持平，而 Opus 5.5 整体领先。
r/LocalLLaMA 社区的一项提议，呼吁成员不要再执着于 tok/s（每秒生成的 token 数）这类速度指标，而应创建私有的质量基准测试，尤其用于评估模型在不同量化级别下的质量，并相互分享测试结果。
作者用 RTX 5090、4090 和双卡 V100 实测 DeepSeek-V4.1-Flash-1017、Qwen-3.8-Flash-Next、Qwen-3.8-27b 三款本地开源模型，通过 Core-300 盲测与 200K+ 长文本压测对比其与 GPT-5.5、Opus-4.8 等云端模型的实际体感差距。
开源 Apple Silicon 推理引擎 Kapitsa 0.2.26 公布了 Qwen、Nemotron、Flint 和 Clover 模型在 M5 Max 上的基准测试结果，展示了其 KFlash 最佳优先树验证技术和 SSD 卸载功能，可在配备 48GB 内存的 MacBook Pro 上以每秒 61 个 token 的速度运行 180B 参数的 MoE 模型。
一位用户分享了一份详细的搭建指南，介绍如何在较旧的消费级硬件（RTX 3090 Ti、128GB 内存、Threadripper 3990X）上运行 DeepSeek-V4.1-Flash-1017（约 35 tok/s）和 Qwen3.8-Flash-Next（约 130-140 tok/s），内容涵盖通过开源内核模块解锁 NVIDIA 固件降频限制，以及构建 Xolotl 推理引擎。
一位用户询问，Gemma 4 E4B 是否仍然是最佳的小型多模态模型（参数少于 8B／内存占用低于 6GB），适合通过 MLX 在 Mac 上运行支持工具调用的本地个人助理，并提到尝试 Ling 3.0 tiny、LFM 系列模型以及 Qwen 3.5 4B/9B 均未成功。
一位开发者排查为何在同一台机器上运行本地27B模型的浏览器智能体，相同任务耗时却从40秒到261秒不等，最终发现罪魁祸首是负责校验需求的规则层强制执行了不必要的页面打开操作，而非模型本身的问题。
作者认为，64GB 内存不再是本地大语言模型的“死区”——在 M4 Max 上运行 Qwen3.8 27B 进行智能体编程时，键值缓存和提示词缓存使 64GB 恰好成为最佳配置，打破了此前认为这一容量定位尴尬的共识。
作者发布了 Betelgeuse（bel-cli / bel-server），一个 llama.cpp 分叉，通过 VRAM 槽位池、CUDA 门铃内核和 io_uring 分页器，在 RTX 3060 12GB + 16GB DDR4 上以 100% 位精确方式将 Qwen 3.8 Flash Next（68GB MoE）的推理速度从 1.47 tok/s 提升到 22 tok/s（峰值 48 tok/s）。
nullprogram 介绍并开源了 Prospero——一个用 C++ 和 Dear ImGui 编写的轻量级 AI 编码 harness，资源占用比现有方案低约两个数量级，支持子代理、无头部署与桌面控制能力。
一项详细的基准测试表明，QEngine 1.3.1（针对 RTX 5090 编译）是单流解码速度最快的 Qwen3.8-Flash-Next 引擎，速度约为 Strata 的 1.4–1.9 倍、调优后的 vLLM 的 3 倍，其 KV-in-RAM 模式可显著提升重新访问空闲会话时的热启动性能。
一篇 Reddit 帖子分享了与 /r/LocalLLaMa 社区主流观点相悖的看法，认为 Artificial-Analysis 的排名矫枉过正，过于偏向开放权重模型，赞扬 Haiku 5.5，不屑于 ThreeJS 风格的动画基准测试，并为 Strata Dev 的做法辩护。
QuixiDesk 经过大幅改进，已成为一款跨平台（Mac、Windows、Linux）的开源 Claude Desktop 替代方案，可搭配任何 AI 模型使用，无论是本地模型还是云端模型。
维护者分享了基于 2xRTX 3090 的本地 LLM Pareto 前沿基准图表，指出自 DeepSeek-V4-Flash-Vision-Exp 和 Qwen3.8-Flash-Next 发布两个月来排名未变，并邀请社区协作完善细粒度本地模型能力测绘。