前沿预训练据称是大型实验室的专属游戏。我们尚未获得十万块芯片，因此只有一条路可走：算法效率。我们的新方案以少50倍的计算量匹配DeepSeek V4 Pro的预训练——这大约相当于GPT3预训练计算量的一半，或在GB200上约50万美元成本。

http://magic.dev/blog/pretraining…

>10倍更高效的预训练——Magic

来源：https://magic.dev/blog/pretraining 关于计算高效预训练及扩展至万亿参数模型的研究更新

前沿预训练据称是大型实验室的专属游戏。我们尚未获得十万块芯片，因此只有一条路可走：算法效率。经过一段时间的持续优化，我们的预训练方案现已比主流开源基础模型的计算效率高出10倍以上。

我们以约少50倍的浮点运算量匹配了DeepSeek V4 Pro Base——这大约相当于GPT3预训练计算量的一半，或在GB200上约50万美元成本。我们继续扩展了10倍规模（约400万美元），并在困惑度评估中显著超越了所有公开可用的开源基础模型。根据图1的缩放定律，在DeepSeek V4 Pro的方案下训练同等能力的模型将耗费超过1亿美元（这还未考虑现有数据量）。当然，我们不会止步于此。

我们相信预训练、智能体强化学习和长上下文足以构建超越人类的编码智能体并实现AI研发自动化。我们从长上下文（https://magic.dev/blog/100m-token-context-windows）开始，今日这篇博文将聚焦于预训练。

比特/字节（越低越好）

私有代码库 比特/字节越低越好。训练计算量为横轴的对数刻度FLOPs。曲线拟合当前方案；虚线段为最大规模训练之外的预测值。 0.185, 0.204, 0.223, 0.242, 0.261 10^21, 10^22, 10^23, 10^24, 10^25 DeepSeek V4 Flash: 0.206 bpb DeepSeek V4 Pro: 0.202 bpb Kimi K2: 0.205 bpb Nemotron 3 Ultra: 0.203 bpb V5 e21: 0.246 bpb V5 e22: 0.222 bpb V5 e23: 0.202 bpb V5 e24: 0.194 bpb 29倍DSv4 Flash 48倍DSv4 Pro 31倍Kimi K2 47倍Nemotron 3 Ultra

保留研究论文 比特/字节越低越好。训练计算量为横轴的对数刻度FLOPs。曲线拟合当前方案；虚线段为最大规模训练之外的预测值。 0.36, 0.41, 0.46, 0.52, 0.57 10^21, 10^22, 10^23, 10^24, 10^25 DeepSeek V4 Flash: 0.415 bpb DeepSeek V4 Pro: 0.404 bpb Kimi K2: 0.421 bpb Nemotron 3 Ultra: 0.406 bpb V5 e21: 0.527 bpb V5 e22: 0.463 bpb V5 e23: 0.407 bpb V5 e24: 0.383 bpb 24倍DSv4 Flash 45倍DSv4 Pro 41倍Kimi K2 35倍Nemotron 3 Ultra

保留数学问题推理 比特/字节越低越好。训练计算量为横轴的对数刻度FLOPs。曲线拟合当前方案；虚线段为最大规模训练之外的预测值。 0.53, 0.64, 0.76, 0.87, 0.98 10^21, 10^22, 10^23, 10^24, 10^25 DeepSeek V4 Flash: 0.710 bpb DeepSeek V4 Pro: 0.678 bpb Kimi K2: 0.695 bpb Nemotron 3 Ultra: 0.619 bpb V5 e21: 0.890 bpb V5 e22: 0.770 bpb V5 e23: 0.647 bpb V5 e24: 0.587 bpb 72倍DSv4 Flash 127倍DSv4 Pro 58倍Kimi K2 15倍Nemotron 3 Ultra

6·N·D 训练浮点运算量

图1：预训练缩放定律与训练计算量对比，与主流开源基础模型比较。¹ (https://magic.dev/blog/pretraining#user-content-fn-flops)

我们在保留数据上测量了比特/字节损失（一种消除分词器差异的标准化指标），并拟合缩放定律 (https://arxiv.org/abs/2203.15556) 来预测达到特定能力水平所需的计算量。更高的训练计算效率意味着在所有预算下都能构建更强的模型。

我们评估了来自DeepSeek、Moonshot (Kimi) 和 NVIDIA 的最新开源基础模型² (https://magic.dev/blog/pretraining#user-content-fn-base)。Claude、Gemini、GPT-n 等许多模型的基础版本并未公开，但Kimi K3 (https://arxiv.org/abs/2607.24653) 和Meta的Muse Spark (https://ai.meta.com/blog/introducing-muse-spark-msl/) 表明其分别比Kimi K2提升了2.5倍和3.3倍。我们在GB200和GB300上使用vLLM和SGLang评估了开源模型的对数概率，并在过程中发现了一些后端问题 (https://github.com/vllm-project/vllm/issues/53411, https://github.com/vllm-project/vllm/issues/54723)。为作进一步确认，我们与Fireworks (https://fireworks.ai/) 合作，在其自研推理引擎中验证了基线对数概率。由于模型可能学习其训练解析器的特性，我们使用了与预训练流程不同的解析器/OCR来构建评估集。

评估泛化能力

为衡量泛化能力，我们在保留数据上评估了损失（图1）。我们的代码评估包含自身代码库及从其他初创公司获取的私有代码库。对于推理评估，我们使用Kimi K3在保留的私有数学问题上生成思维链和逐步解题过程，并筛选出正确答案。对于文本和研究评估，我们使用了近期低引用的研究论文。我们移除了内部署的开源代码以及任何与训练数据相比具有匹配的96字符归一化文本窗口或Jaccard相似度超过敏感阈值的文档。³ (https://magic.dev/blog/pretraining#user-content-fn-contamination)

评估知识能力

除泛化能力外，我们还关注测试模型在关键领域的知识掌握情况，以识别数据集中的空白。例如，我们可以按学科分解保留的研究文本评估集。

比特/字节（越低越好）

保留计算机科学论文 比特/字节越低越好。训练计算量为横轴的对数刻度FLOPs。曲线拟合当前方案；虚线段为最大规模训练之外的预测值。 0.37, 0.43, 0.48, 0.54, 0.59 10^21, 10^22, 10^23, 10^24, 10^25 DeepSeek V4 Flash: 0.450 bpb DeepSeek V4 Pro: 0.437 bpb Kimi K2: 0.458 bpb Nemotron 3 Ultra: 0.434 bpb V5 e21: 0.548 bpb V5 e22: 0.481 bpb V5 e23: 0.425 bpb V5 e24: 0.400 bpb 62倍DSv4 Flash 120倍DSv4 Pro 108倍Kimi K2 69倍Nemotron 3 Ultra

保留工程论文 比特/字节越低越好。训练计算量为横轴的对数刻度FLOPs。曲线拟合当前方案；虚线段为最大规模训练之外的预测值。 0.359, 0.409, 0.458, 0.507, 0.556 10^21, 10^22, 10^23, 10^24, 10^25 DeepSeek V4 Flash: 0.413 bpb DeepSeek V4 Pro: 0.403 bpb Kimi K2: 0.421 bpb Nemotron 3 Ultra: 0.405 bpb V5 e21: 0.517 bpb V5 e22: 0.456 bpb V5 e23: 0.405 bpb V5 e24: 0.383 bpb 26倍DSv4 Flash 48倍DSv4 Pro 49倍Kimi K2 38倍Nemotron 3 Ultra

保留数学论文 比特/字节越低越好。训练计算量为横轴的对数刻度FLOPs。曲线拟合当前方案；虚线段为最大规模训练之外的预测值。 0.32, 0.37, 0.43, 0.48, 0.54 10^21, 10^22, 10^23, 10^24, 10^25 DeepSeek V4 Flash: 0.365 bpb DeepSeek V4 Pro: 0.354 bpb Kimi K2: 0.367 bpb Nemotron 3 Ultra: 0.360 bpb V5 e21: 0.492 bpb V5 e22: 0.426 bpb V5 e23: 0.367 bpb V5 e24: 0.342 bpb 12倍DSv4 Flash 21倍DSv4 Pro 16倍Kimi K2 22倍Nemotron 3 Ultra

保留物理论文 比特/字节越低越好。训练计算量为横轴的对数刻度FLOPs。曲线拟合当前方案；虚线段为最大规模训练之外的预测值。 0.38, 0.43, 0.49, 0.54, 0.60 10^21, 10^22, 10^23, 10^24, 10^25 DeepSeek V4 Flash: 0.433 bpb DeepSeek V4 Pro: 0.422 bpb Kimi K2: 0.440 bpb Nemotron 3 Ultra: 0.425 bpb V5 e21: 0.552 bpb V5 e22: 0.487 bpb V5 e23: 0.431 bpb V5 e24: 0.406 bpb 16倍DSv4 Flash 29倍DSv4 Pro 29倍Kimi K2 24倍Nemotron 3 Ultra

6·N·D 训练浮点运算量

图2：各研究领域的有效计算量。通过收集细粒度内容桶（如特定软件工具的文档或对齐研究的关键论文），我们可以获得更精确的信号。与泛化评估不同，我们不想完全移除预训练语料库中的这类信息（如某领域的关键论文），但仍需避免奖励序列记忆⁴ (https://magic.dev/blog/pretraining#user-content-fn-memorization)。为此，我们使用前沿第三方大语言模型对这些文档进行了改写/总结。为避免在细粒度评估上过拟合，我们每个模型代只创建和评估一次；以下评估集创建于上周。

Magic的目标是构建最适合编码和自主AI研发的模型。为有意平衡数据混合的权衡，我们还评估了未优先考虑的领域（如知名人物的事实信息、本地新闻或体育/赛事）。

我们的方案对比 有效计算量倍率对比 各评估中的最佳开源模型 评估倍率在各面板内按对数刻度排名。值大于1则表示我们当前方案占优；值小于1则表示基线方案占优。 0.01倍, 0.1倍, 1倍, 10倍, 100倍 SWE与AI研发 SWE AI研发 0.01倍, 0.1倍, 1倍, 10倍, 100倍 本地新闻、世界知识与法律 本地新闻 世界知识 法律

图3：跨领域的有效计算量倍率。我们在167个领域的评估集上拟合缩放定律，展示了每个数据集的计算效率增益。

没有捷径

2024年底，我们训练了一个小型稠密模型 (https://magic.dev/blog/100m-token-context-windows)，其架构专为超长上下文窗口设计。我们最初的预训练规模扩展屡屡以各种方式失败。我们很快认识到必须首先建立稳定的基础。平滑收敛、相当于FP32的低精度训练质量、快速稳定的基础设施、正确的超参数缩放规则。最重要的是：排查错误。

一旦这些就绪，我们需要找到足够的计算效率提升，以用更少的计算量缩小与前沿的差距。起初我们有几个大胆的尝试，但最终的进展源于模型架构、优化器、训练目标和数据策划数十项改进的乘法效应。

NanoGPT竞速 (https://github.com/kellerjordan/modded-nanogpt) 提供了评估新想法的快速反馈循环，但我们发现许多能改善小模型的东西对大模型并无帮助。同样，我们发现大多数大语言模型中存在的某些特性可以被删除 (https://grugbrain.dev/) 而不影响大规模性能。

为评估每个模型、优化器或数据变更，我们训练3个跨越2个数量级计算量的模型。如果某项变更的幂律拟合表明其在大规模下有益，则值得保留。每隔几周，我们会将规模扩展至主要规模的1/10；每隔几个月，我们会运行全规模的主要训练（图4中的V3、V4、V5）。

相对于V2的计算效率，附竞争对手参考线。 1倍, 10倍, 100倍, 1000倍 V2 2024年末 V3 2026年初 V4 2026年7月 V5 2026年9月

计算效率对比我们的V2 Nemotron 3 · 24倍 Kimi K2 · 10倍 DSv4 Pro · 5.6倍 1.9倍 11倍 24 50 5倍 相对于V2

图4：我们预训练研究进展的加速。为验证预训练损失如何转化为强化学习后性能，我们进行了一次使用16k思维链预算的简短数学强化学习运行（图5）。我们所有的强化学习都直接从基础模型开始，无需监督微调或蒸馏。

强化学习训练计算量对应的数学通过率，附竞争对手参考线。 0%, 25%, 50%, 75%, 100% 0.01%, 0.1%, 1%, 10%, 100% 强化学习计算量（占模型自身预训练浮点运算量的百分比） 通过率 GPT-6 Astra · 100% Claude 5.1 · 98% Muse Spark 1.3 · 88% Gemini 3.8 · 83% Kimi K3 · 75% Grok 4.6 · 71% DSv4 Pro · 65% Inkling · 50% Qwen 3.8 · 45% GLM-5.3 · 45% Nemotron 3 · 27% V5 (e24) · 72% V5 (e23) · 31%

图5：低计算量强化学习期间在保留竞赛数学问题上的通过率。⁵ (https://magic.dev/blog/pretraining#user-content-fn-aime) 浮点运算量为6·N·D，如图1所示。

下一步计划

我们的预训练和长上下文工作现已相当成熟。我们将扩展长期强化学习，训练智能体在部署后通过长上下文持续学习。我们也在致力于呈现稳健理论特性的对齐训练技术。最后但同样重要的是，我们期待发布成果！

我们正在解决的具体问题包括：

• 长期强化学习中的探索与信用分配（以及扩大规模的系统工作）。
• 针对狭窄诱发的潜在知识 (https://docs.google.com/document/d/1WwsnJQstPq91_Yh-Ch2XRL8H_EpsnjrC1dwZXR37PC8/edit?tab=t.0) 的对齐训练。⁶ (https://magic.dev/blog/pretraining#user-content-fn-agi)
• 预训练的进一步改进。

我们可能是世界上训练万亿参数模型的最小团队。具有强大判断力的单个人所能产生的影响力从未如此之高。如果你想帮助构建对齐的超级智能，请考虑加入我们 (https://magic.dev/careers)。

1. 我们报告6·N·D而非精确训练浮点运算量，其中N为激活参数数量，D为每个报告所述的预训练令牌数。序列维度（如注意力机制等）的计算仅占这些模型（以及我们模型）浮点运算量的一小部分，但取决于使用的具体序列长度分布。所有公开模型并未报告这些数据，因此我们选择使用6·N·D近似值以避免猜测。“6“的来源是（加法+乘法）*（前向+2倍反向）。我们通过从HuggingFace下载检查点的safetensors头部信息、读取每个张量的形状，并计算所有激活参数（不包括令牌嵌入和MTP头）的大小总和来得出激活参数数量。各模型的6·N·D值：模型N D 6·N·D，当前_e24（我们） - - 1.63e24，当前_e23（我们） - - 1.58e23，当前_e22（我们） - - 1.12e22，V4（我们） - - 1.91e24，V3（我们） - - 3.85e24，V2（我们） - - 7.20e23，DeepSeek V4 Pro 48,852,265,054 33T 9.67e24，DeepSeek V4 Flash 13,270,025,810 32T 2.55e24，Kimi K2 31,687,072,768 15.5T 2.95e24，Nemotron 3 Ultra 54,985,076,736 20T 6.60e24。来源：Kimi K2：31.6B参数，15.5T令牌（技术报告 (https://arxiv.org/abs/2507.20534)，第2.5节）。DeepSeek V4 Flash：13.2B参数，32T令牌（技术报告 (https://arxiv.org/abs/2606.19348)，第4.2.2节）及DeepSeek V4 Pro：48.8B参数，33T令牌（第4.2.2节）。Nemotron 3 Ultra：55B参数，20T令牌（技术报告 (https://arxiv.org/abs/2512.20856)，摘要）。↩ (https://magic.dev/blog/pretraining#user-content-fnref-flops)
2. “基础模型“指尚未经过强化学习、监督微调或其他后训练的预训练模型。它们对提示高度敏感，导致基于采样的评估不可靠。因此，我们在保留数据上测量了比特/字节损失，该指标不受提示敏感性影响，并能平滑衡量原本具有涌现性的能力 (http://arxiv.org/abs/2206.07682)。附带说明，我们惊讶地发现Nemotron 3在所有方面都优于DeepSeek V4 Pro，但这在不同领域和推理引擎中是一致的。这可能表明Nemotron在强化学习后的基准测试中表现较弱是由于后训练不足，但其预训练已领先于中国的开源竞争对手。↩ (https://magic.dev/blog/pretraining#user-content-fnref-base)
3. 我们当然只能为自己的模型消除评估数据污染，而非开源模型。这意味着我们基于互联网的保留评估数据中有些可能自然存在于它们的训练数据中，但它们方的任何污染都会有利于开源模型，而非我们的模型。↩ (https://magic.dev/blog/pretraining#user-content-fnref-contamination)
4. 我们怀疑某些异常值是源记忆扭曲了结果。例如，我们发现Nemotron记住了医学/健康世界知识类别中源文档的特定数字和短语，即使经过大语言模型重写，它仍能惊人地准确预测这些内容。我们仍在图表中包含了这些异常值。所有知识评估都是在我们当前一代预训练运行开始后创建的，绝大多数类别都是新的（即它们没有直接反馈到运行中），但知识评估特意针对那些我们预期在任何人的训练数据中频繁（且有意如此）出现的语义内容。↩ (https://magic.dev/blog/pretraining#user-content-fnref-memorization)
5. 我们在一个比AIME更难的私有保留竞赛数学评估集（400题）上评估了通过率。基线模型可能使用了数量级更多的强化学习计算量。e24模型的AI