mxfp4

NVIDIA 的这篇技术博客介绍了在 DGX Spark 上加速 Ling-3.0-flash 混合专家（MoE）模型推理的三种优化技术：Humming MXFP4 MoE 内核、语言模型输出头的在线 FP8 量化，以及基于 NEXTN 的多词元预测投机解码，并分析了组合配置下的集成问题。

论文提出开源训练配方 ALTO，用于在 MXFP4 微缩放格式下训练 20B 参数 MoE 模型 GPT-OSS-20B，通过混合块量化、随机 Hadamard 变换、随机舍入与权重去振荡方案，将 FP4 与 BF16 的验证损失差距缩小至 0.007，收敛开销从 +20% 降至 +5%，并报告了若干无效尝试的负面结果。

在配备6GB RTX 4050的笔记本上测试1.56TB混合专家模型，需借助NVMe进行修补式内存流式传输，解码速度达到0.106 tokens/s。

用户使用仅GDDR7和以太网（无HBM）在80块RTX 5090 GPU上运行Kimi K3，这是一个2.8T参数的开放权重MoE模型，实现了单流20 tok/s，这是首个在消费级硬件上运行的前沿模型。

一位用户质疑，为什么bartowski声称DeepSeek-V4-Flash是MXFP4格式，而原始模型页面列出的张量类型是BF16、F32等，并非MXFP4。

讨论在MXFP4量化下，能装入128 GB内存的最大密集模型。

一条推文介绍了微缩放/块量化格式（如NVFP4和MXFP4）的可视化工具，解释了这些低精度浮点数的工作原理以及它们在LLM推理中减少内存带宽需求的应用。

对nvfp4和mxfp4格式的技术比较，强调nvfp4使用额外的张量级缩放因子来克服fp4的范围限制，从而可以在块级缩放因子上获得更高的精度。

DealignAI 发布了 Qwen3.6-27B 和 35B 模型的 CRACK-abliterated 以及 MXFP4/MXFP8 量化版本，保留了 MTP，可在 Apple Silicon 上实现更快的推测解码。

本文证明了MXFP4量化误差可分解为三个加性分量——比例偏差、死区截断和网格噪声——并提出了针对性修正方法，能够在LLM强化学习后训练中，使Qwen2.5-3B的BF16精度恢复至0.7个百分点以内，Qwen3-30B-A3B-Base恢复至3.0个百分点以内。