deepseek-ai/DeepSeek-V4-Flash-DSpark · Hugging Face 源: https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark

https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark#deepseek-v4-towards-highly-efficient-million-token-context-intelligence

DeepSeek-V4: 迈向高效百万Token上下文智能

DeepSeek-V4

主页 (https://www.deepseek.com/) 聊天 (https://chat.deepseek.com/) Hugging Face (https://huggingface.co/deepseek-ai) Twitter 关注 (https://twitter.com/deepseek_ai) 许可证 (https://huggingface.co/deepseek-ai/LICENSE)

技术报告 👁️ (https://arxiv.org/abs/2606.19348)

注意：DeepSeek-V4-Flash-DSpark 并不是一个新模型。它是同一个检查点，但额外附加了一个推测解码模块。一个最小的推理示例可在 inference (https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark/blob/main/inference/README.md) 文件夹中找到。更多细节请参考：https://github.com/deepseek-ai/DeepSpec

https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark#introduction

引言

我们发布了 DeepSeek-V4 系列的预览版本，包括两个强大的混合专家（MoE）语言模型——DeepSeek-V4-Pro（1.6T 参数，49B 激活）和 DeepSeek-V4-Flash（284B 参数，13B 激活）——两者均支持 一百万 token 的上下文长度。

DeepSeek-V4 系列在架构和优化方面引入了多项关键升级：

1. 混合注意力架构：我们设计了一种混合注意力机制，结合了压缩稀疏注意力（CSA）和重度压缩注意力（HCA），显著提升长上下文的效率。在 1M token 上下文设置下，DeepSeek-V4-Pro 相比 DeepSeek-V3 仅需 27% 的单 token 推理 FLOPs 和 10% 的 KV 缓存。

2. 流形约束超连接 (mHC)：我们引入 mHC 来增强传统残差连接，在保持模型表达能力的同时，增强了信号在层间传播的稳定性。

3. Muon 优化器：我们采用 Muon 优化器，以实现更快的收敛和更强的训练稳定性。

我们在超过 32T 个多样化且高质量的 token 上预训练了这两个模型，随后进行了全面的后训练流程。后训练采用两阶段范式：首先通过 SFT 和 GRPO 强化学习独立培养领域特定专家，然后通过在线策略蒸馏进行统一模型整合，将不同领域的专长融合到一个模型中。

DeepSeek-V4-Pro-Max 是 DeepSeek-V4-Pro 的最大推理努力模式，显著提升了开源模型的知识能力，牢固确立了其作为当今最佳开源模型的地位。它在编码基准测试中取得了顶级性能，并在推理和智能体任务上显著缩小了与领先闭源模型的差距。同时，DeepSeek-V4-Flash-Max 在拥有更大思考预算时，可达到与 Pro 版本相当的推理性能，但其较小的参数量自然使其在纯知识任务和最复杂的智能体工作流程上略逊一筹。

https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark#model-downloads

模型下载

*FP4 + FP8 混合：MoE 专家参数使用 FP4 精度；大多数其他参数使用 FP8。

https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark#evaluation-results

评估结果

https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark#base-model基座模型

https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark#instruct-model指令模型

DeepSeek-V4-Pro 和 DeepSeek-V4-Flash 均支持三种推理努力模式：

https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark#deepseek-v4-pro-max-vs-frontier-modelsDeepSeek-V4-Pro-Max 对比前沿模型

https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark#comparison-across-modes不同模式间的对比

https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark#chat-template

聊天模板

本次发布不包含 Jinja 格式的聊天模板。我们提供了一个专用的 encoding 文件夹，其中包含 Python 脚本和测试用例，演示如何将以 OpenAI 兼容格式编码的消息转换为模型的输入字符串，以及如何解析模型的文本输出。请参考 encoding (https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark/blob/main/encoding/README.md) 文件夹获取完整文档。

简要示例：

from encoding_dsv4 import encode_messages, parse_message_from_completion_text

messages = [
    {"role": "user", "content": "hello"},
    {"role": "assistant", "content": "Hello! I am DeepSeek.", "reasoning_content": "thinking..."},
    {"role": "user", "content": "1+1=?"}
]

# messages -> string
prompt = encode_messages(messages, thinking_mode="thinking")

# string -> tokens
import transformers
tokenizer = transformers.AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4-Pro")
tokens = tokenizer.encode(prompt)

https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark#how-to-run-locally

本地运行方法

请参考 inference (https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark/blob/main/inference/README.md) 文件夹，获取在本地运行 DeepSeek-V4 的详细说明，包括模型权重转换和交互式聊天演示。

对于本地部署，我们建议将采样参数设置为 temperature = 1.0, top_p = 1.0。对于 Think Max 推理模式，我们建议将上下文窗口设置为至少 384K token。

https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark#license

许可证

此仓库和模型权重根据 MIT 许可证 (https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark/blob/main/LICENSE) 授权。

https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark#citation

引用

@misc{deepseekai2026deepseekv4,
      title={DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence},
      author={DeepSeek-AI},
      year={2026},
}

https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark#contact

联系方式

如有任何问题，请提出 issue 或通过 [email protected] (https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark/blob/main/[email protected]) 联系我们。