jabbatheduck/DeepSeek-v4-flash-mini · Hugging Face
摘要
jabbatheduck 发布了 REAP 专家剪枝后的 DeepSeek-V4-Flash 检查点的 GGUF 量化版本，为消费级 GPU 上的内存受限推理进行了大幅压缩，同时保留了路由器和注意力的精度。
查看缓存全文
缓存时间: 2026/08/05 14:23
jabbatheduck/DeepSeek-v4-flash-mini · Hugging Face
来源：https://huggingface.co/jabbatheduck/DeepSeek-v4-flash-mini
https://huggingface.co/jabbatheduck/DeepSeek-v4-flash-mini#deepseek-v4-flash-reap-k160–ggufDeepSeek V4 Flash REAP K160 — GGUF
REAP 专家剪枝后的 DeepSeek-V4-Flash-0731 检查点的量化 GGUF。这是一个为在高端消费级和工作站 GPU 上进行内存受限推理而设计的激进压缩变体。
源模型：0xSero/DeepSeek-V4-Flash-0731-REAP (https://huggingface.co/0xSero/DeepSeek-V4-Flash-0731-REAP) 量化灵感：antirez/deepseek-v4-gguf (https://huggingface.co/antirez/deepseek-v4-gguf)
https://huggingface.co/jabbatheduck/DeepSeek-v4-flash-mini#file文件
| 文件 | 大小 | 路由专家 | 其他所有 |
|---|---|---|---|
DeepSeek-V4-Flash-REAP-IQ2XXS-w2Q2K-AProjQ8-OutQ8-chat-v2.gguf | 54 GiB | IQ2_XXS（gate、up）+ Q2_K（down）— 保留 256 个中的 160 个 | Q8_0 attention / 共享专家 / 输出头，F16 路由器 + 嵌入 + 索引器 + 压缩器 + HC，F32 归一化层 / sinks / 偏置 |
https://huggingface.co/jabbatheduck/DeepSeek-v4-flash-mini#quantization-recipe量化方案
| Tensor class | Quant | Notes |
|---|---|---|
blk.*.ffn_gate_exps、` |
相似文章
antirez/deepseek-v4-gguf
Antirez发布了专门为DS4推理引擎优化的DeepSeek V4 Flash GGUF量化版本，针对不同内存大小提供了优化配置，使得这个大型MoE模型可以在本地运行。
Deepseek V4 Flash 2位、3位和4位 GGUFs
DeepSeek V4 Flash 的 2位、3位和4位精度 GGUF 量化版本，已在 Hugging Face 上发布，可用于 llama.cpp 和 Ollama 等工具的本地推理。
@Snixtp: DeepSeek V4 Flash 能否在单张 RTX Pro 6000 上运行？
antirez 已发布 DeepSeek V4 Flash 的 GGUF 量化版本，使该模型能够在单张 GPU（如 RTX Pro 6000）以及 128GB 以上内存的 Mac 上运行。量化文件已上传至 Hugging Face，并附有 DS4 推理引擎的使用说明。
DeepSeek-v4-Flash-Mini 54GB GGUF 运行速度约 20.5 t/s
一个社区构建将 DeepSeek-V4-Flash 压缩为 54GB 的 IQ2_XXS GGUF 变体，采用激进的 2 位量化，在本地硬件上实现了约 20.5 tokens/s 的速度，同时大幅降低了显存/内存占用。
带更新模板的 DeepSeek V4 Flash 0731 GGUF（支持推理级别）
DeepSeek-V4-Flash-0731-GGUF 的 Hugging Face 页面，这是 DeepSeek V4 Flash 的 GGUF 量化版本，带有支持推理级别的更新模板，可直接用于 llama.cpp、vLLM、Ollama 及其他本地推理工具。