fp4-quantization

有人优化了DeepSeek V4.1，使其在NVIDIA A100 GPU上的运行速度超过了官方API，尽管A100不支持FP4精度，并将实现分享在GitHub上。

XiaomiMiMo 发布 MiMo-V2.5-Pro-FP4-DFlash，这是一款 FP4 量化的 MoE 模型，采用块扩散推测解码，以减少万亿参数推理的内存和带宽。

DeepSeek 发布了完整的 V4 论文，详细介绍了 FP4 量化感知训练、MoE 训练稳定性技巧（预判路由与 SwiGLU 截断），以及用于 RLHF 的生成式奖励模型，实现了显著的效率提升——V4-Flash 在 100 万上下文长度下仅需 V3.2 的 10% FLOPs 和 7% 的 KV 缓存。