在一张 RTX Pro 6000 上跑 DeepSeek V4 Flash？👀

https://t.co/gG0pR6EIkK

antirez/deepseek-v4-gguf · Hugging Face

来源：https://huggingface.co/antirez/deepseek-v4-gguf

https://huggingface.co/antirez/deepseek-v4-gguf#deepseek-v4-flash–gguf-for-ds4DeepSeek V4 Flash — 针对 ds4 的 GGUF

这些量化版本专门为 DS4 推理引擎设计。它们可能也适用于其他推理引擎，也可能不适用（理论上应该可以，但 MTP 模型需要特定的加载器）。

https://github.com/antirez/ds4

https://huggingface.co/antirez/deepseek-v4-gguf#files文件

在 128 GB 的 Mac 机器上使用 q2，在 ≥ 256 GB 内存的机器上使用 q4，两者均可搭配 MTP 以支持可选的推测解码。

https://huggingface.co/antirez/deepseek-v4-gguf#quantization-recipe量化配方

文件名即为规格说明。以 q2 文件为例：

对于 q4 文件，仅三个路由专家类别改为 Q4_K，其余所有部分与 q2 配方逐字节相同。

这种非对称设计背后的考量：路由专家占了绝大部分参数量，但每个专家只处理一小部分 token，因此对它们进行激进量化对平均质量的影响，远小于对路由器、投影或共享专家进行同样处理。将决策相关组件保持在 Q8_0 可保留模型行为；压缩专家则换来了体积的减小。

https://huggingface.co/antirez/deepseek-v4-gguf#usage使用

git clone https://github.com/antirez/ds4
cd ds4
./download_model.sh q2     # 128 GB 内存的机器
./download_model.sh q4     # >= 256 GB 内存的机器
./download_model.sh mtp    # 可选：MTP 推测解码
make

./ds4 -p "用一段话解释 Redis Streams。"
./ds4-server --ctx 100000 --kv-disk-dir /tmp/ds4-kv --kv-disk-space-mb 8192

download_model.sh 脚本会从本仓库获取模型，支持断点续传，并将 ./ds4flash.gguf 指向所选变体。

https://huggingface.co/antirez/deepseek-v4-gguf#license许可证

MIT。基础模型的版权归 DeepSeek 所有；GGUF 文件根据基础模型的发布条款进行再分发。