@hotschmoe: 在阅读了这篇文章后，我决定让 nvfp4 在我的 Intel Arc B70s 上运行看看，12小时后，它的运行速度……
摘要
一位用户成功在 Intel Arc B70s GPU 上运行了 nvfp4 量化，相比其最佳的 int4 配置，实现了近乎两倍的速度和更高的精度，挑战了硬件特定的格式假设。
查看缓存全文
缓存时间: 2026/07/04 18:54
读完这篇帖子后，我决定让我的 Intel Arc B70 显卡跑一下 NVFP4 看看效果。12 小时后，它的运行速度几乎翻倍，同时精度也比我当前最好的 INT4 自动舍入配置更高。
“这一切本不该能跑起来。”
Eric Hartford (@QuixiAI): “这一切本不该能跑起来。”
噗！这就是人民的力量！
再也不用听什么“GGUF/MLX 是给 Mac 的、BF16 是给安培的、NVFP4 是给 NVIDIA 的”这类胡话了。
相似文章
@basecampbernie: https://x.com/basecampbernie/status/2074262192304832535
本文详细介绍了作者在GIGABYTE AI TOP ATOM（DGX Spark）工作站上运行NVFP4量化图像和视频生成模型的设置与基准测试，使用FLUX.2、Qwen-Image和LTX-2.3等模型（含同步音频的视频）取得了令人印象深刻的性能。
NVFP4 在 Volta 上！尽管是为 Blackwell 设计的，我让四个 2017 年的 V100 原生运行 Qwen 3.8 NVFP4，并匹配我的 6000 美元 RTX 5090。
作者在使用自定义软件优化（如 QPN 内核）进行高效推理时，实现了四个 2017 年 Tesla V100 GPU 与现代 RTX 5090 在运行 Qwen 3.8 模型时的性能均等。
@RayFernando1337: “所选运行时使用NVFP4权重以获得最大性能。从原始FP8权重，我们进行了内部量…
讨论使用NVFP4 4位浮点权重以获得最大性能，通过使用NVIDIA ModelOpt从FP8进行内部量化实现，突出了该数据格式的双缩放因子以保持高动态范围。
@TeksEdge: 已解决！Qwen3.6-27B-FP8 现已在 Intel Arc Pro B70 上运行！LocalMaxxing 展示了 4× Arc Pro B70 32GB 的有效运行，速度约 5…
Qwen3.6-27B-FP8 模型现已在 Intel Arc Pro B70 GPU 上运行，速度约 50 tok/s，并修复了 vLLM 的一个 bug，这标志着 Intel GPU 本地 AI 推理的一个重要里程碑。
@witcheer：大家都说NVFP4让黑伟德显卡“更快”。我在我的5090上对Qwen3.6-27B进行了三种方式的基准测试：>NVFP4 >普通Q4_K…
在RTX 5090上对Qwen3.6-27B进行的NVFP4基准测试显示，与同等比特的Q4_K_M相比，预填速度提升32-42%，与Q6_K相比提升52-68%，但解码速度提升有限（相比Q4提升+9%），因为解码受内存带宽限制。与Q6相比，质量损失极小（平均-0.8），使得NVFP4成为本地推理的不错选择。