Basalt：在单张 5090 上为 Qwen3.8 Flash-Next 加入 NVFP4 支持与更快的 Prefill

Reddit r/LocalLLaMA 工具
inference-engine nvfp4 quantization blackwell open-source qwen3

摘要

Basalt 推理工具新增原生 NVFP4 支持与更快的 Prefill，可在单张 RTX 5090 上运行 Qwen3.8 Flash-Next，解码速度最高达 479 tok/s，Prefill 速度达 8,582 tok/s，同时质量接近 Q8 水平。

Basalt：Qwen 3.8 FN NVFP4，单张 5090 大家好，我终于完成了内存升级，一直在处理 Basalt 中排名前二的痛点：NVFP4 支持和更快的 Prefill。 **NVFP4**：Basalt 现在已原生运行 NVFP4，一种新的 .basalt 打包格式保留了原版 NVIDIA 专家层，并将稠密层存储为 Q6_K。 5090（400w）+ 128 GB DDR5 内存，单流性能： - struct: 304 tok/s - prose: 183 tok/s - 配合对端 GPU（5060 Ti）：struct 479 / prose 239 与 Q8_0 的质量对比（100 个分块）：PPL 3.308（Q8_0：3.286），KLD 0.068，91.5% 的 top-1 一致率。 **Prefill**：在 64K 提示词上达到 8,582 tok/s（首 token 延迟 7.6 秒）。在同一台机器上、使用相同 NVFP4 权重与 Infernix 对比，解码速度最高提升至 1.3 倍，Prefill 提升至 1.6 倍。 过去一周还合并了大量稳定性和性能修复，接下来将推出 Unsloth Q4 + Q8（近乎无损）调优。 快来试试吧： Repo: github.com/jesdga95/basalt HF: huggingface.co/jesdga/Qwen3.8-Flash-Next-Basalt
查看原文

相似文章

NVFP4 下的 Qwen3.8-FN（Basalt vs cachy-flash vs ninfer-ext）

Reddit r/LocalLLaMA

对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上使用三个推理引擎（basalt、capy-flash、ninfer-ext）进行完整 262k 上下文基准测试，basalt 在所有上下文长度和两种解码模式下均领先（预填充速度为 8.1k–9.2k 词元/秒，贪心解码速度为 176–265 词元/秒），解码排名与 MTP 草稿接受率一致。

@witcheer：大家都说NVFP4让黑伟德显卡“更快”。我在我的5090上对Qwen3.6-27B进行了三种方式的基准测试：>NVFP4 >普通Q4_K…

X AI KOLs Timeline

在RTX 5090上对Qwen3.6-27B进行的NVFP4基准测试显示，与同等比特的Q4_K_M相比，预填速度提升32-42%，与Q6_K相比提升52-68%，但解码速度提升有限（相比Q4提升+9%），因为解码受内存带宽限制。与Q6相比，质量损失极小（平均-0.8），使得NVFP4成为本地推理的不错选择。

Basalt：为 Qwen 3.8 Flash Next 打造的 Blackwell 高速推理引擎（以及如何白嫖视觉能力）

Reddit r/LocalLLaMA

Basalt 是一个为 Qwen 3.8 Flash Next 定制的推理引擎，从 Strata 分叉而来并针对 Blackwell 深度调优。它引入了动态视觉编码：空闲时将图像编码器保存在 RAM 中以节省 VRAM，仅在有图像输入时才上传到显存，对文本推理的开销几乎为零。团队还公开了相关 commit hash，方便开发者将该技术移植到自己的推理引擎中。

使用 Deadcode 的 Radiance 引擎，在 2 张 R9700 + 64GB DDR5 上运行 Q4 量化的 Qwen-3.8 Flash-Next，解码速度为 176 token/秒，预填充速度为 6,450 token/秒

Reddit r/LocalLLaMA

一位用户使用 BetterBench 吞吐量测试工具，在配备 2 块 R9700 GPU 和 64GB DDR5 内存的定制 PC 上，对运行于 Deadcode 的 Radiance 推理引擎上的 Q4 量化版 Qwen-3.8 Flash-Next 进行基准测试，实现了 176 token/秒的解码速度和 6,450 token/秒的预填充速度。