deepseek-ai/DeepSeek-V4-Pro · Hugging Face

来源: https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro

DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence

DeepSeek-V4

主页 (https://www.deepseek.com/) | 聊天 (https://chat.deepseek.com/) | Hugging Face (https://huggingface.co/deepseek-ai) | Twitter 关注 (https://twitter.com/deepseek_ai) | 许可证 (https://huggingface.co/deepseek-ai/LICENSE)

技术报告 👁️ (https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf)

Introduction

我们发布了 DeepSeek-V4 系列的预览版本，包括两个强大的混合专家（MoE）语言模型——DeepSeek-V4-Pro（1.6T 参数，激活 49B）和 DeepSeek-V4-Flash（284B 参数，激活 13B）——两者均支持 一百万 token 的上下文长度。DeepSeek-V4 系列在架构和优化方面引入了多项关键升级：

1. 混合注意力架构： 我们设计了一种结合压缩稀疏注意力（CSA）和重度压缩注意力（HCA）的混合注意力机制，以大幅提高长上下文效率。在 1M-token 的上下文设置下，与 DeepSeek-V3.2 相比，DeepSeek-V4-Pro 仅需 27% 的单 token 推理 FLOPs 和 10% 的 KV Cache。
2. 流形约束超连接（mHC）： 我们引入了 mHC 来增强传统的残差连接，在保持模型表达能力的同时，增强信号跨层传播的稳定性。
3. Muon 优化器： 我们采用 Muon 优化器以实现更快的收敛和更高的训练稳定性。

我们在超过 32T 多样化且高质量的 token 上对这两个模型进行了预训练，随后进行了全面的后训练流程。后训练采用两阶段范式：首先通过 SFT 和基于 GRPO 的 RL 独立培养领域特定专家，然后通过在线策略蒸馏进行统一的模型整合，将不同领域的独特能力融合到一个模型中。

DeepSeek-V4-Pro-Max 是 DeepSeek-V4-Pro 的最大推理努力模式，显著提升了开源模型的知识能力，确立了其作为当今最佳开源模型的地位。它在代码基准测试中取得了顶尖性能，并在推理和智能体（agentic）任务上大幅缩小了与领先闭源模型的差距。与此同时，DeepSeek-V4-Flash-Max 在给予更大思考预算时，能达到与 Pro 版本相当的性能，尽管由于其参数量较小，在纯知识任务和最复杂的智能体工作流上自然略逊一筹。

Model Downloads

*FP4 + FP8 混合：MoE 专家参数使用 FP4 精度；大多数其他参数使用 FP8。

Evaluation Results

Base Model

Instruct Model

DeepSeek-V4-Pro 和 DeepSeek-V4-Flash 均支持三种推理努力模式：

DeepSeek-V4-Pro-Max vs Frontier Models

Comparison across Modes

Chat Template

本次发布未包含 Jinja 格式的聊天模板。相反，我们提供了一个专用的 encoding 文件夹，其中包含 Python 脚本和测试用例，演示如何将 OpenAI 兼容格式的消息编码为模型的输入字符串，以及如何解析模型的文本输出。有关完整文档，请参阅 encoding (https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/encoding/README.md) 文件夹。

简要示例：

from encoding_dsv4 import encode_messages, parse_message_from_completion_text

messages = [
    {"role": "user", "content": "hello"},
    {"role": "assistant", "content": "Hello! I am DeepSeek.", "reasoning_content": "thinking..."},
    {"role": "user", "content": "1+1=?"}
]

# messages -> string
prompt = encode_messages(messages, thinking_mode="thinking")

# string -> tokens
import transformers
tokenizer = transformers.AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4-Pro")
tokens = tokenizer.encode(prompt)

How to Run Locally

有关在本地运行 DeepSeek-V4 的详细说明，包括模型权重转换和交互式聊天演示，请参阅 inference (https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/inference/README.md) 文件夹。对于本地部署，我们建议将采样参数设置为 temperature = 1.0, top_p = 1.0。对于 Think Max 推理模式，我们建议将上下文窗口设置为至少 384K tokens。

License

本仓库和模型权重遵循 MIT 许可证 (https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/LICENSE)。

Citation

@misc{deepseekai2026deepseekv4,
  title={DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence},
  author={DeepSeek-AI},
  year={2026},
}

Contact

如果您有任何问题，请提交 issue 或联系我们 [email protected] (https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/[email protected])。