DeepSeek-V4-Flash (MXFP4): 仅通过KV缓存量化类型（f16与q8_0）变化，计算缓冲区规模约扩大3倍——还有其他人在 llama.cpp 上看到这种情况吗？
摘要
一位用户报告称，在DeepSeek-V4-Flash (MXFP4)中将KV缓存量化类型从f16改为q8_0，导致计算缓冲区规模大约扩大了3倍，询问其他人是否在使用 llama.cpp 时也观察到了这一现象。
暂无内容
相似文章
我将量化KV缓存的修复合并到我的DeepSeek V4分支中
将量化KV缓存的修复合并到llama.cpp的DeepSeek V4分支中，并提供了f16、q8_0和q4_0缓存类型的基准困惑度结果。
[llama.cpp] 非对称 KV q8/q4 缓存：当前注意事项及 GGML 仓库中的讨论
讨论了在 llama.cpp 中使用非对称 KV 缓存量化时的注意事项，其中不匹配的 q8/q4 类型会导致提示处理在 CPU 而非 GPU 上进行，并提出了通过编译标志进行修复的方案。
DeepSeek-V4-Flash W4A16+FP8 结合 MTP 自推测：在 2 张 RTX PRO 6000 Max-Q 上以 524K 上下文长度实现 85 tok/s
这篇文章详细介绍了一个经过定制并量化的 DeepSeek-V4-Flash 模型版本，启用了 MTP 自推测功能。通过修改后的 vLLM 设置，在双 RTX PRO 6000 Max-Q GPU 上实现了显著的速度提升。
DeepSeek V4 完整论文发布：FP4 QAT 技术细节与训练稳定性技巧 [D]
DeepSeek 发布了完整的 V4 论文，详细介绍了 FP4 量化感知训练、MoE 训练稳定性技巧（预判路由与 SwiGLU 截断），以及用于 RLHF 的生成式奖励模型，实现了显著的效率提升——V4-Flash 在 100 万上下文长度下仅需 V3.2 的 10% FLOPs 和 7% 的 KV 缓存。
Deepseek V4 Flash 2位、3位和4位 GGUFs
DeepSeek V4 Flash 的 2位、3位和4位精度 GGUF 量化版本，已在 Hugging Face 上发布，可用于 llama.cpp 和 Ollama 等工具的本地推理。