NVFP4 下的 Qwen3.8-FN（Basalt vs cachy-flash vs ninfer-ext）
摘要
对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上使用三个推理引擎（basalt、capy-flash、ninfer-ext）进行完整 262k 上下文基准测试，basalt 在所有上下文长度和两种解码模式下均领先（预填充速度为 8.1k–9.2k 词元/秒，贪心解码速度为 176–265 词元/秒），解码排名与 MTP 草稿接受率一致。
单张 RTX 5090 上的 Qwen3.8-Flash-Next NVFP4——不同上下文长度下的预填充和解码性能 完整的 262,144 token 上下文，每次处理一个请求，开启 MTP 推测解码，使用 int8 KV，三个引擎采用完全相同的测试。所有数值的单位均为 token/秒。预填充 = 提示词 token 数 / 首个 token 生成时间。解码 = 生成的 token 数 / 解码时间。每行中最快的引擎以粗体标出。每个数据点均使用全新且不重复的提示词：服务器报告的前缀缓存命中次数均为零。项目 值 GPU NVIDIA RTX 5090，32 GB CPU、内存 Intel Core Ultra 9 285K，247 GB DDR5 模型 Qwen3.8-Flash-Next，NVIDIA NVFP4 专家，48 层，512 个专家 模型文件 basalt Qwen3.8-FN-NVFP4.basalt，capy-flash qwen3_8_flash_next_nvfp4_idxgdnq8.ninfer，ninfer-ext qwen3_8_flash_next_nvfp4_draft.ninfer 上下文 262,144 token，以 16k 为步长遍历（16 个点） 输出 每个请求 256 token，ignore_eos 构建版本 basalt fe7fd96f，capy-flash 4e45286a v0.7.1，ninfer-ext 3241c511 引擎配置（调优后） 设置 basalt capy-flash ninfer-ext 最大上下文 262,144 262,144 262,144 KV 缓存 int8，弹性 int8，弹性 int8 专家缓存 自动 自动（弹性） 自动 推测解码 MTP，推测窗口 7 MTP，3 个草稿 token MTP，3 个草稿 token CPU 端 pool-workers 15，ple-io ram miss-split auto，16 个 CPU 线程 ngram 映射 显存占用 27.1 GiB + 40.7 GiB 主机内存 28.3 GiB + 65.2 GiB 主机内存 23.1 GiB 贪心解码，温度 0 预填充，token/秒 上下文（token） capy-flash basalt ninfer-ext 16k 6,921 8,490 4,473 32k 7,736 8,712 5,193 48k 8,015 9,211 5,764 64k 7,976 9,052 6,113 80k 7,806 9,206 6,269 96k 7,879 8,949 5,842 112k 7,800 9,061 5,353 128k 7,677 8,978 5,696 144k 7,238 8,842 5,321 160k 7,429 8,773 5,311 176k 7,391 8,670 5,182 191k 7,283 8,553 5,187 207k 7,207 8,511 5,057 224k 7,063 8,434 4,847 239k 6,912 8,347 4,846 255k 6,828 8,285 4,748 解码，token/秒 上下文（token） capy-flash basalt ninfer-ext 16k 198 242 92 32k 186 265 96 48k 170 251 106 64k 160 246 99 80k 167 242 80 96k 157 205 87 112k 157 225 90 128k 165 216 88 144k 157 202 88 160k 151 187 87 176k 151 199 78 191k 162 196 83 207k 152 185 76 224k 151 187 74 239k 144 177 73 255k 138 176 75 采样解码，温度 1.0，top_p 0.95，top_k 20 预填充，token/秒 上下文（token） capy-flash basalt ninfer-ext 16k 6,881 8,571 4,198 32k 7,751 8,639 5,082 48k 8,046 9,096 5,693 64k 7,971 8,875 6,089 80k 7,782 9,200 6,263 96k 7,806 8,928 5,805 112k 7,625 9,050 5,354 128k 7,598 9,048 5,714 144k 7,171 8,773 5,347 160k 7,326 8,879 5,309 176k 7,384 8,749 5,191 191k 7,179 8,570 5,185 207k 7,192 8,375 5,053 224k 7,102 8,333 4,848 239k 6,999 8,252 4,850 255k 6,879 8,141 4,753 解码，token/秒 上下文（token） capy-flash basalt ninfer-ext 16k 178 235 79 32k 149 212 87 48k 164 236 99 64k 158 242 85 80k 150 227 69 96k 137 187 84 112k 132 186 87 128k 130 207 83 144k 145 203 84 160k 133 178 72 176k 155 214 64 191k 150 169 77 207k 161 178 77 224k 145 178 57 239k 139 146 69 255k 143 163 65 全部 16 个点的汇总 引擎 预填充 token/秒 贪心解码 token/秒 采样解码 token/秒 采样相对贪心的解码速度变化 basalt 8,285 - 9,211 176 - 265 146 - 242 -7.1% capy-flash 6,828 - 8,015 138 - 198 130 - 178 -7.7% ninfer-ext 4,473 - 6,269 73 - 106 57 - 99 -9.8% MTP 草稿接受率，16 个点的平均值 引擎 贪心 采样 变化 basalt 0.74 0.67 -0.08 capy-flash 0.57 0.49 -0.07 ninfer-ext 0.56 0.44 -0.12 核心结论 basalt 在两种模式的所有上下文长度下均最快：预填充速度为 8.1k-9.2k token/秒，贪心解码速度为 176-265 token/秒。capy-flash 位列第二：预填充速度为 6.8k-8.0k token/秒，贪心解码速度为 138-198 token/秒。ninfer-ext 位列第三：预填充速度为 4.2k-6.3k token/秒，贪心解码速度为 73-106 token/秒。解码速度排名与 MTP 草稿接受率排名完全一致：贪心模式下，basalt 为 0.74，capy-flash 为 0.57，ninfer-ext 为 0.56。采样使每个引擎的解码速度下降 7-10%，对预填充速度没有影响。影响结果的调优 引擎 变更 33k / 131k 上下文下的解码速度（token/秒） basalt 默认自动设置在此 CPU 上选择了 pool-workers 1 122 / 114 basalt pool-workers 15 238 / 200 basalt 再加上 ple-io ram 248 / 228 capy-flash 默认配置 175 / 138 capy-flash 加上 miss-split auto 和 16 个 CPU 线程 184 / 173 ninfer-ext int8 KV（实测 nvfp4 KV 更慢）106 / 83
相似文章
Basalt：在单张 5090 上为 Qwen3.8 Flash-Next 加入 NVFP4 支持与更快的 Prefill
Basalt 推理工具新增原生 NVFP4 支持与更快的 Prefill，可在单张 RTX 5090 上运行 Qwen3.8 Flash-Next，解码速度最高达 479 tok/s，Prefill 速度达 8,582 tok/s，同时质量接近 Q8 水平。
capy-flash：在两张 16 GB 消费级 GPU 上以全 NVFP4 运行 Qwen3.8-Flash-Next（125B MoE）
capy-flash 是基于 ninfer-tp2 进化的本地推理引擎，可在两张 16GB 消费级 RTX 5070 Ti 上以 NVFP4 全精度量化运行 Qwen3.8-Flash-Next 125B-A6B（MoE 专家卸载至内存），生成速度约 100 tok/s，超过 Strata。作者还发现并修复了张量并行下双重 BF16 舍入导致的误差放大问题，改用 FP16 传输部分和即可获得与单 GPU 相当的数值精度。
本地智能体编码基准测试：Qwen3.8-Flash-Next NVFP4 对比 27B（以及其他...）
基准测试显示，Qwen3.8-Flash-Next-NVFP4 在本地模型中取得了接近最高分数，在请求处理和令牌生成方面表现出卓越效率，尽管训练不足，但速度仍然显著。
我花了 3 周在新的低延迟 SGLang/vLLM 配方上测试本地 Qwen3.8：DFlash2 快 2.8 倍。构建：RadixArk + Inferact 27B NVFP4、27B BF16、orcarouter 27B Uncensored、Flash-Next NVFP4
作者在单张 RTX PRO 6000 上对三款 Qwen3.8 27B 检查点进行 10 项统一测试，Flash-Next 赢下多数任务，而 DFlash2 投机解码将 27B 的推理速度从 75 提升到 210 tok/s（2.8 倍），并对比了 SGLang 与 vLLM 在不同量化导出下的性能差异。
Qwen3.8-Flash-Next-GSQ-RCO (IQ3_S)：12GB 显存 + 32GB 内存 + NVMe 实现约 20-30 tok/s 解码与 300-90k tok/s 预填
用户在仅 12GB 显存 + 32GB 内存 + NVMe 的消费级硬件上，通过自定义 Strata 分支运行 IQ3_S 量化版 Qwen3.8-Flash-Next-GSQ-RCO-Abliterated，实现 20-30 tok/s 解码与最高约 90k tok/s 的 131k 上下文预填性能。