标签
一位爱好者在一台售价 £300 的 Snapdragon X 迷你主机（可通过 USB4 双机互联）上对 Qwen 3.6/3.8 MoE 模型进行了基准测试，对比了 llama.cpp、Janas 以及他自研的未发布 ToRc 引擎，在 35B A3B 模型上达到了 315 tok/s 的读取速度。文章详细介绍了硬件配置、MTP 头的使用以及 NPU 辅助 CPU 推理的结果。
# 在消费级硬件上运行 Qwen3.8-27B 与 Flash-Next 的推理引擎详细对比：经验证的解码/预填充性能数据与每欧元成本分析——两块中端 GPU 的每欧元性价比可超越单块 RTX 5090 达 3–10 倍，而 DDR5 内存在专家模型内存驻留（experts-in-RAM）构建中的成本占比现已达到约 40%
一名开发者展示，在运行 llama.cpp（使用 SYCL 后端）的 Intel B70 上，对采用 AMD 7950X 平台的系统进行 DDR5 内存超频，可以带来适度但可测量的性能提升：对于无法完全放入显存的 MoE 模型，预填充速度最高提升 14%，token 生成速度提升 8%。随着上下文长度加深，收益还会进一步扩大。
Nous Research 宣布为 Hermes Agent 集成 Stripe，使 AI 代理能够直接购买专业版计划并配置服务，且具有可配置的安全限制。
技术基准测试，比较 ROCm 和 Vulkan 后端在 Strix Halo 硬件上运行 LLM 推理的性能，MTP 合并到 llama.cpp 之后，结果显示 ROCm 在全上下文时性能严重下降，而 Vulkan 保持稳定。
一位用户在12GB的RTX 3060上对Qwen 35B-A3B（一个35B参数的MoE模型）进行了基准测试，发现12GB显存是运行该模型并支持32k上下文时的实用甜点区，生成速度可达约47 token/秒。