fp4

FastVideo团队发布了面向B300的全新FP4注意力内核，速度相比FlashAttention 4提升最高达1.69倍。

NVIDIA 发布了 NVFP4 量化的 Kimi-K2.7-Code，这是一个为 Blackwell GPU 量化为 FP4 的 1 万亿参数 Moonshot AI 模型，在减少内存占用的同时保持了准确性。

llama.cpp的一个分支引入了TurboQuant TQ3_4S量化方法，该方法映射到Blackwell FP4张量核心，在GB10上实现高达221%的提示处理加速，同时以Q3的大小保持接近Q4的质量。

NVIDIA的博客详细介绍了FP4（配合NVFP4格式和Blackwell硬件）如何从一种压缩技巧演变为训练和推理的实用基础方案，涵盖LLM和扩散模型，并实现了接近16位的精度。

SharQ提出了一种无需训练的方法，将激活稀疏性与FP4量化相结合用于大语言模型推理，采用稀疏-密集分解和统一的FP4权重负载。与仅使用FP4的基线相比，它显著降低了延迟并恢复了精度。

讨论使用NVFP4 4位浮点权重以获得最大性能，通过使用NVIDIA ModelOpt从FP8进行内部量化实现，突出了该数据格式的双缩放因子以保持高动态范围。

本文识别了LLM预训练中非均匀FP4量化格式的一个根本限制（收缩偏差），并提出了UFP4，一种优于现有基于E2M1方法的统一4位训练方案。

将 Qwen 3.6 35b a3b 模型转换为 ROCmfp4 格式，利用 MTP 优势提升 AMD 硬件上的性能。

来自 Modal 的 LLM Engineer's Almanac，提供了一个互动探索器，用于理解 bf16 和 fp4 等低精度浮点数格式。