fp4

NVIDIA 发布了 Qwen3.8-Flash-Next-FP4-Local，这是阿里 Qwen3.8-Flash-Next 模型的 FP4 量化版本，采用 NVIDIA Model Optimizer 通过量化感知蒸馏（QAD）构建。该约 96 GiB 的权重文件面向 RTX PRO 6000 Blackwell 和 DGX Spark 等本地 AI 硬件，并已通过 vLLM 验证。

miniTE 是一个开源框架，用于诊断并弥合原生 NVFP4（W4A4）强化学习中训练与推理引擎间的数值执行差异，使 log-probability 差距降至约 1e-8，并在 8×B300 GPU 上实现最高 1.39 倍于 BF16 的学习器吞吐量，同时在 Qwen3-30B-A3B 上保持接近 BF16 的长程 RL 稳定性。

提出 format-aware fusion 方法，将 FP4 量化中的 scale 计算、操作数打包以及反向状态保存与 GEMM 融合。在 Llama-3 8B 预训练中，最高可达 37.9K tokens/s/GPU；MXFP4 路线在训练损失终点略高于 bfloat16 的情况下，实现 37.2K tokens/s/GPU（86.3% MFU），显著超过 Transformer Engine 的 27.6K。

一位用户分享了使用 5400 美元从 eBay 购买的 8x V100 服务器进行本地 LLM 推理的出色结果：借助高度优化的 vLLM 分支（1CatAI/1Cat-vLLM），在运行时将 nvfp4 NVIDIA 检查点动态解包为 fp16，配合 TP=4 在 27B 模型上实现超过 200 tok/s 的生成速度，并具备强劲的 prefill 吞吐量。

作者批评在推理引擎中使用FP4量化的趋势，认为它严重降低模型质量并导致幻觉，尤其是对于小型密集模型。

本文提出了HiFloat4格式和Rollout-ResQ，用于LLM的端到端FP4强化学习后训练，在Qwen2.5模型上实现了与BF16相比仅1.1%的准确率差距。

FastVideo团队发布了面向B300的全新FP4注意力内核，速度相比FlashAttention 4提升最高达1.69倍。

NVIDIA 发布了 NVFP4 量化的 Kimi-K2.7-Code，这是一个为 Blackwell GPU 量化为 FP4 的 1 万亿参数 Moonshot AI 模型，在减少内存占用的同时保持了准确性。

llama.cpp的一个分支引入了TurboQuant TQ3_4S量化方法，该方法映射到Blackwell FP4张量核心，在GB10上实现高达221%的提示处理加速，同时以Q3的大小保持接近Q4的质量。

NVIDIA的博客详细介绍了FP4（配合NVFP4格式和Blackwell硬件）如何从一种压缩技巧演变为训练和推理的实用基础方案，涵盖LLM和扩散模型，并实现了接近16位的精度。

SharQ提出了一种无需训练的方法，将激活稀疏性与FP4量化相结合用于大语言模型推理，采用稀疏-密集分解和统一的FP4权重负载。与仅使用FP4的基线相比，它显著降低了延迟并恢复了精度。

讨论使用NVFP4 4位浮点权重以获得最大性能，通过使用NVIDIA ModelOpt从FP8进行内部量化实现，突出了该数据格式的双缩放因子以保持高动态范围。

本文识别了LLM预训练中非均匀FP4量化格式的一个根本限制（收缩偏差），并提出了UFP4，一种优于现有基于E2M1方法的统一4位训练方案。

将 Qwen 3.6 35b a3b 模型转换为 ROCmfp4 格式，利用 MTP 优势提升 AMD 硬件上的性能。

来自 Modal 的 LLM Engineer's Almanac，提供了一个互动探索器，用于理解 bf16 和 fp4 等低精度浮点数格式。