@RayFernando1337: “所选运行时使用NVFP4权重以获得最大性能。从原始FP8权重，我们进行了内部量…

X AI KOLs Following 2026/06/23 01:28 工具

quantization fp4 nvidia model-optimization runtime performance

摘要

讨论使用NVFP4 4位浮点权重以获得最大性能，通过使用NVIDIA ModelOpt从FP8进行内部量化实现，突出了该数据格式的双缩放因子以保持高动态范围。

“所选运行时使用NVFP4权重以获得最大性能。从原始FP8权重，我们使用NVIDIA ModelOpt进行了内部量化到NVFP4。NVFP4是NVIDIA的一种4位浮点数据格式，使用双缩放因子来保持高动态范围并保留模型质量。”

查看原文

相似文章

X AI KOLs Following

一位用户成功在 Intel Arc B70s GPU 上运行了 nvfp4 量化，相比其最佳的 int4 配置，实现了近乎两倍的速度和更高的精度，挑战了硬件特定的格式假设。

X AI KOLs Following

NVIDIA的博客详细介绍了FP4（配合NVFP4格式和Blackwell硬件）如何从一种压缩技巧演变为训练和推理的实用基础方案，涵盖LLM和扩散模型，并实现了接近16位的精度。

X AI KOLs Following

对Google的Gemma-4-12B-it模型进行混合精度量化，使用NVFP4用于MLP权重，FP8用于注意力层，实现了25%更小的存储占用和更快的吞吐量，同时保持质量。

X AI KOLs Timeline

对nvfp4和mxfp4格式的技术比较，强调nvfp4使用额外的张量级缩放因子来克服fp4的范围限制，从而可以在块级缩放因子上获得更高的精度。

X AI KOLs Following

NVIDIA 的 4 位量化版 Qwen3.6-27B (NVFP4) 相较于完整的 bf16 模型被发现近乎无损，行为差异微小且随机而非系统性，使其成为实用的即插即用替代品。