mxfp4

一条推文介绍了微缩放/块量化格式（如NVFP4和MXFP4）的可视化工具，解释了这些低精度浮点数的工作原理以及它们在LLM推理中减少内存带宽需求的应用。

对nvfp4和mxfp4格式的技术比较，强调nvfp4使用额外的张量级缩放因子来克服fp4的范围限制，从而可以在块级缩放因子上获得更高的精度。

DealignAI 发布了 Qwen3.6-27B 和 35B 模型的 CRACK-abliterated 以及 MXFP4/MXFP8 量化版本，保留了 MTP，可在 Apple Silicon 上实现更快的推测解码。

本文证明了MXFP4量化误差可分解为三个加性分量——比例偏差、死区截断和网格噪声——并提出了针对性修正方法，能够在LLM强化学习后训练中，使Qwen2.5-3B的BF16精度恢复至0.7个百分点以内，Qwen3-30B-A3B-Base恢复至3.0个百分点以内。