Horsey 挑战赛 | Strata Fork | Qwen 3.8 FN NVFP4

Reddit r/LocalLLaMA 工具
local-llm inference quantization nvfp4 strata single-gpu

摘要

# 单卡 RTX 5090 运行 Qwen3.8-Flash-Next 125B-A6B：strata-nvfp4 引擎性能实测 有用户在**单张 RTX 5090** 上，使用 **strata-nvfp4** 引擎（Strata 的 NVFP4 分支）运行 **Qwen3.8-Flash-Next 125B-A6B** 混合 MoE 模型，并分享了「小马挑战」的性能数据。 ## 测试任务 「小马挑战」要求模型生成一段 HTML，其中包含一个 Three.js 低多边形风格的奔跑小马动画。 ## 性能数据 | 指标 | 数值 | | --- | --- | | 生成步数 | 87 步 | | 输出 token | 12.4 万 | | 平均解码速度 | 103 t/s | | 缓存命中率 | 99% | ## 亮点 - **单卡跑大模型**：125B 总参数、6B 激活参数的混合 MoE 模型，在一张 RTX 5090 上即可流畅推理。 - **高吞吐解码**：平均 103 t/s 的解码速度，足以支持长内容的一次性生成。 - **极高的缓存命中率**：99% 的命中率说明 KV 缓存复用非常充分，长上下文场景下开销极低。 - **NVFP4 量化收益**：借助 strata-nvfp4 引擎的 4-bit NVFP4 路径，模型权重与计算密度得到显著压缩，才使得如此规模的模型能在消费级显卡上运行。 ## 小结 这份实测表明，在 Strata 的 NVFP4 分支加持下，消费级单卡已经能够以实用速度运行百亿级激活参数的 MoE 模型，为本地大模型部署提供了新的可能性。

我一直想亲自试试"马头挑战"（horsey challenge），用的是我最近一直在测试的最新引擎——sergqwer 做的一个 Strata fork：https://github.com/sergqwer/strata-nvfp4。之前看到有人发帖，好像是用了 IQ3 量化做的，效果挺酷的，所以我想试试 NVFP4。本来没打算分享，但实际跑完发现总耗时表现真的相当不错。 我改了提示词，因为这是第二次尝试——第一次搞砸了，因为 Qwen 在测试 HTML 的时候想留着 15+ 个无头窗口不关。我当时滚到了另一个窗口，发现自己的系统卡得不行，哈哈哈。那次测试跑了大概 45 分钟我就手动终止了。后来我换了个新提示词重试，这次快了很多。 这个 fork 我已经跑起来好几天了。我调了一些设置，把压缩触发点设得更高，大概在 220k-230k 左右。这次没触发压缩，因为还在限额以内，但当我在长时间运行项目中使用 Unity 无头模式、Blender 无头模式、还有一些像纹理生成之类的任务时，会频繁触发压缩。 虽然才用了一两天，但目前为止，它比我之前用过的任何东西都要好得多。无论是引擎还是我现在用的模型都是如此。 这只是一个分享，也是为我们在单 GPU 上访问模型、尝试做这些事情的进展出一份力。也许这能激励更多人多分享一下自己的作品。我知道这个社区一直在激励我开始分享，也感谢所有为 Local AI 做出贡献的人。感谢原版 Strata 团队、sergqwer 提供的 fork、windowsxp811203 的模型（我把它转换后适配了 Strata），以及 Qwen 团队出色的发布。 *图表是用 AI 整理的，这样排版更整洁好看。另外如果你问画质，我是用屏幕录制截的视频。提示词这里我也自己手动改过，哈哈。 "创建一个低多边形 3D 奔跑的马，使用 Three.js 实现无缝循环动画。用基本几何体程序化构建，动画包括腿、身体、头部和尾巴，返回一个自包含的 HTML 文件。另外当你使用无头 Chrome 时，确保杀掉不再需要的进程，我们不需要这些无头 Chrome 拖慢系统。" **技术栈** **硬件：** RTX 5090 32GB · Ryzen 7 9800X3D · 192GB DDR5-5600 · Windows 11 **引擎：** strata-nvfp4（sergqwer 基于 Niko1221/Strata 的 fork），运行在 Windows 上，前端使用 llama-swap 做模型切换 **模型：** Qwen3.8-Flash-Next 125B-A6B 混合 MoE — abliterated 检查点，自行转换为 NVFP4 **权重：** NVFP4 专家权重（4.5-bit，校准标量）+ Q8_0 稠密权重 **KV 缓存：** int8 **PLE 表：** bf16 **嵌入：** bf16 **MTP：** draft head，spec 5，spec-min-p 0.7 **上下文：** 最大 262,144 **压缩：** 自定义触发线设在 220,144 **采样：** temp 0.8 / presence_penalty 0.3 / min_p 0.02 **视觉：** fp32 mmproj，编码器在 CPU 上 **RAM 分层：** 63 GiB 固定专家权重；热专家缓存在 VRAM；未命中的通过 CPU+PCIe 与 GPU 重叠计算 **工具链：** dsh（web GUI），OpenAI API | 指标 | 数值 | |---|---| | **总耗时：首条消息 → 最后回复** | **33分45秒** | | − 我的审批延迟（25 次权限弹窗） | −10分35秒 | | **= 纯 Agent 工作时间** | **23分10秒** | | 步骤数 | 87 | | 输出 tokens（思考 + 代码 + 工具调用） | **124,443** | | 新输入 tokens | 96,334 | | 缓存读取 tokens | 9,340,144（**99.0% 命中率**） | | **解码速度（每步，扣除审批延迟后）** | **中位数 116 t/s · 平均 103 · 峰值 171** | | 首 token 延迟 | 中位数 **0.7s**（深度上下文时最大 24.9s） | | 预填充速度（新 tokens） | 平均 **3,332 t/s** · 峰值 **6,623 t/s** | | 最长单次生成 | 21,279 tokens | | 压缩次数 | **0**（33 分钟内未触发 220k 线） | **工具调用 — 总计 107 次，工具运行时间 14 分 10 秒**
查看原文

相似文章

@Lonely__MH：我勒个去？！真的有这么牛？据说靠着"MoE 异构并行"，你用 12G 显存就能跑 125B 的 Qwen3.8-Flash-Next，速度还能超过……

X AI KOLs Timeline

Strata 是一款开源工具，借助 MoE 异构并行技术，可在显存仅 12GB 的游戏 PC 上本地运行 1250 亿参数的 Qwen3.8-Flash-Next 模型，在 NVIDIA RTX 5070 和 AMD RX 9070 XT 显卡上速度可达 60-94 tokens/s 以上。该项目宣称支持在 Windows 和 Linux 上使用 NVIDIA 和 AMD 显卡进行完全本地化的私密推理。