v100s上Qwen3.6 27B NVFP4达366 t/s

Reddit r/LocalLLaMA 工具
v100 nvfp4 quantization inference kernels gpu-optimization open-source

摘要

介绍了v100-skinny，一个自定义内核库，支持在V100（sm70）GPU上进行快速NVFP4推理，在最佳情况下的抽取中为Qwen3.6 27B实现366 t/s，而结构化生成和代码生成的速度较低。

这些是单流（single-stream）数值。继我之前关于v100s的帖子（这里）之后，并受到这条评论（这里）的启发，我决定开发一些内核，让NVFP4权重在sm70上拥有极快的推理路径，同时在sm70上也几乎免费地支持深度推测。这让我兴奋地推出了“v100-skinny”（因为内核很“瘦”）。我的工作和运行方法可以在这里找到：https://github.com/dnv2003/v100-skinny 仓库里有很多关于标题中引用数字的注意事项，但这是MTP的绝对最佳情况，也就是抽取。不过，在类似JSON的结构化生成上，你可以预期大约240 t/s，而在MTP友好的代码上（想想样板代码、模式、HTML等，使用“旗舰配置k=7”）约为200 t/s。
查看原文

相似文章

Qwen3.8-Flash-Next NVFP4 第3天对4xV100的支持

Reddit r/LocalLLaMA

RadixArk/Qwen3.8-Flash-Next-NVFP4 现已在 SGLang-V100 中得到支持，使得在 4xV100 GPU 上能够进行全上下文操作，性能指标显示高吞吐量，上下文处理能力高达 256k tokens。

@witcheer：大家都说NVFP4让黑伟德显卡“更快”。我在我的5090上对Qwen3.6-27B进行了三种方式的基准测试：>NVFP4 >普通Q4_K…

X AI KOLs Timeline

在RTX 5090上对Qwen3.6-27B进行的NVFP4基准测试显示，与同等比特的Q4_K_M相比，预填速度提升32-42%，与Q6_K相比提升52-68%，但解码速度提升有限（相比Q4提升+9%），因为解码受内存带宽限制。与Q6相比，质量损失极小（平均-0.8），使得NVFP4成为本地推理的不错选择。