中国前沿AI模型携带出口管制NVIDIA Blackwell GPU的数字指纹(37分钟阅读)

TLDR AI 新闻

摘要

对公开发布的模型权重进行的取证分析发现,DeepSeek、Moonshot AI、MiniMax和蚂蚁集团近期发布的六款模型是在受出口管制的NVIDIA Blackwell GPU上启动训练的,而非较旧的Hopper芯片。证据来自这些模型公开发布的权重,为推断中国实验室已获取受限的先进硬件提供了技术支撑——尽管尚非铁证。

一项针对公开发布的AI模型的取证分析发现,DeepSeek、Moonshot AI、MiniMax和蚂蚁集团已获得NVIDIA Blackwell GPU的证据。这些公司自四月以来发布的六款模型中包含与Blackwell硬件相匹配的数字模式。几家领先的中国AI开发者很可能已开始使用Blackwell来训练其最新模型。虽然该分析提供了获取先进计算硬件的技术证据,但并未确定这些芯片位于何处、如何获得访问权限,或是否违反了出口管制。
查看原文
查看缓存全文

缓存时间: 2026/11/16 08:40

# 中国顶尖前沿 AI 模型携带出口管制 NVIDIA Blackwell GPU 的指纹特征 来源:https://unemploymentlabs.com/checkpoint-forensics 引用本报告:https://unemploymentlabs.com/checkpoint-forensics#cite ## 执行摘要 **我们对已公开发布的 AI 模型进行的取证分析发现证据表明,DeepSeek、月之暗面(Moonshot AI)、MiniMax 和蚂蚁集团已获得 NVIDIA Blackwell GPU 的访问权限——尽管这些芯片对华出口受到限制——并正在使用该硬件构建其 AI 模型。**这些公司自 2026 年 4 月以来发布的六个模型包含与 Blackwell 硬件相匹配的数值模式,而这些公司更早的模型则与 NVIDIA 更早的 Hopper 代产品相匹配。研究结果表明,多家中国领先的 AI 开发商已开始使用 Blackwell 训练其最新模型。美国官员和媒体此前曾指控 DeepSeek 和月之暗面使用 Blackwell 芯片,但未公布技术证据。 所有证据均来自模型自身公开发布的权重,而非泄露消息或内部人士说法。我们还原了模型的初始数值痕迹,然后搜索能够复现这些数值的硬件配置和初始配置;对于 DeepSeek-V4-Flash 和 Kimi K3,我们还在物理 Blackwell 芯片上确认了匹配。该指纹可以识别权重的创建方式,并支持(但不能证明)Blackwell 同样参与了训练的推断。特殊配置的 AMD 硬件(同样对华出口受限)是我们识别出的唯一替代方案;我们已针对 DeepSeek-V4-Flash 排除了该方案,并认为对其余五个模型而言该可能性极低。值得注意的是,我们的发现提供了接触先进计算硬件的技术证据,但不能确定芯片所在位置、如何获得访问权限,或是否违反了出口管制。 **表 1. DeepSeek、月之暗面、MiniMax 和蚂蚁集团各代模型中的硬件指纹** [链接 ↗](https://unemploymentlabs.com/checkpoint-forecks#table-1) | 实验室 | 模型 | 发布时间 | 模型初始化所用芯片 | |---|---|---|---| | DeepSeek | DeepSeek-V3 | 2024 年 12 月 | NVIDIA Hopper(实验室披露为 H800) | | DeepSeek | DeepSeek-V4-Flash | 2026 年 4 月 | • NVIDIA Blackwell B200/B300 | | DeepSeek | DeepSeek-V4-Pro | 2026 年 4 月 | • NVIDIA Blackwell GB200/GB300 | | 月之暗面 | Kimi K2 | 2025 年 7 月 | NVIDIA Hopper(实验室披露为 H800) | | 月之暗面 | Kimi K2.5 | 2026 年 1 月 | NVIDIA Hopper(实验室披露为 H800) | | 月之暗面 | Kimi K3 | 2026 年 7 月 | • NVIDIA Blackwell GB200/GB300 | | 月之暗面 | Kimi K3.1-Pro | 2026 年 11 月 | • NVIDIA Blackwell GB200/GB300 | | MiniMax | MiniMax-M2.7 | 2026 年 4 月 | NVIDIA Hopper | | MiniMax | MiniMax-M3 | 2026 年 6 月 | • NVIDIA Blackwell B200/B300 | | 蚂蚁集团 | Ling-3.0-flash | 2026 年 8 月 | NVIDIA Hopper | | 蚂蚁集团 | Ling-3.1-flash | 2026 年 10 月 | • NVIDIA Blackwell GB200/GB300 | *• 对华出口需获得美国许可证;目前尚无相关许可获批的报道。* *Hopper 指纹无法区分 H800 与 H100 SXM 或 H200;上文的 H800 鉴定结果来自实验室披露,并非本方法的发现。* 完整模型列表见附录 2 ↓(https://unemploymentlabs.com/checkpoint-forensics#appendix-2) ## 主要发现 1. **来自四个中国实验室的六个模型均呈现出 Blackwell 训练的特征。**DeepSeek-V4-Flash 和 MiniMax-M3 与 NVIDIA Blackwell 级的 B200 或 B300 芯片相匹配,该芯片拥有 148 个处理器核心(称为*流式多处理器*,即 SM)。DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro 和 Ling-3.1-flash 与 GB200 或 GB300 芯片相匹配,同属 Blackwell 级,拥有 152 个处理器核心。Kimi K3.1-Pro 与 K3 从相同的种子初始化,可能是 K3 在进一步后训练后的检查点。 2. **中国实验室相对较近期才开始使用 Blackwell 训练。**DeepSeek 的模型在 DeepSeek-V3(2024 年 12 月发布)之前均呈现 Hopper 训练特征,从 DeepSeek V4(2026 年 4 月发布)开始呈现 Blackwell 特征。月之暗面的模型在 Kimi K2.5(2026 年 1 月)之前均呈现 Hopper 特征,从 K3(2026 年 7 月)开始呈现 Blackwell 特征。月之暗面有一个模型介于两者之间:在 K3 发布前六周发布的 Kimi K2.7-Code,基于 Hopper 时代的权重构建,但包含一小部分与 B200 或 B300 匹配。MiniMax 的模型在 M2.7(2026 年 4 月)之前均呈现 Hopper 特征,从 M3(2026 年 6 月)开始呈现 Blackwell 特征。蚂蚁集团的 Ling-3.0-flash(2026 年 8 月)呈现 Hopper 特征,而其 Ling-3.1-flash(2026 年 10 月)呈现 Blackwell 特征。Hopper 读数无法识别具体芯片型号:H800、H100 SXM 和 H200 共享相同的指纹。 3. **并非所有中国 AI 实验室都已切换到 Blackwell。**我们能读取到的来自阿里巴巴(Qwen)、智谱(GLM)、腾讯、小米和阶跃星辰的最新模型均呈现 Hopper 训练特征。美团称其 LongCat-2.0 完全在"AI ASIC 超级集群"上训练,我们未在其发布的模型权重中发现任何 NVIDIA 指纹。 4. **该方法对已知答案的判断正确。**对于 24 个特定模型,开发者已公开说明所使用的硬件。在所有案例中,我们的方法均与公开声明一致。NVIDIA 自身的 Nemotron-3 Ultra(其技术报告指明其中一个训练阶段使用 GB200)呈现出 152 个 SM 的特征,与 Kimi K3 相同。 5. **匹配强度远超偶然巧合所能解释的范围。**即使不相关的数字,在尝试足够多的组合后也可能看起来匹配。在我们搜索中约 6 万亿种子与布局组合里,最强的偶然匹配预计仅能达到约 8 sigma——该指标衡量结果超出普通随机变异的程度。六个模型各自的最强证据范围为 49 至 1,385 sigma。即使我们报告的最弱单项测试也达到 20 sigma。 6. **训练运行达到了数据中心规模。**根据每个模型的规模及其训练数据量,我们估计规模最大的两次运行——Kimi K3 和 DeepSeek-V4-Pro——各自需要数千块 Blackwell GPU 运行两到三个月(假设模型在初始化所用硬件上完成训练)。我们最佳估计约为 4,500 块和 3,000 块,分别相当于约 11,500 和 7,500 块 H100——AI 训练集群通常以这一上一代 NVIDIA 芯片为规模基准——五次运行合计约 12,000 块 Blackwell GPU(表 2)。按每块 GPU 约 70,000 美元计算(依据《华尔街日报》报道推算,约 36,000 块在马来西亚安装供字节跳动使用的 Blackwell 芯片成本将超过 25 亿美元),其中最大的集群成本约为 2 亿至 3 亿美元,五个集群合计超过 5 亿美元。这些数字仅涵盖最终训练运行;各实验室在出口管制 GPU 上的总支出可能高达数十亿美元。 **表 2. 各次训练运行的大致规模** [链接 ↗](https://unemploymentlabs.com/checkpoint-forensics#table-2) | 模型 | H100 等效数量 | Blackwell GPU 数量(最佳估计) | Blackwell 数量范围 | 估计运行时长 | |---|---|---|---|---| | DeepSeek-V4-Flash | 3,500 | 1,500 | 250–5,000 | 50 天 | | DeepSeek-V4-Pro | 7,500 | 3,000 | 750–6,500 | 70 天 | | Kimi K3 | 11,500 | 4,500 | 1,000–9,500 | 70 天 | | MiniMax-M3 | 3,500 | 1,500 | 200–7,000 | 60 天 | | Ling-3.1-flash | 4,000 | 1,500 | 400–6,500 | 100 天 | | 全部五次 | 30,000 | 12,000 | 7,000–22,000 | | *每项估计为该次运行的训练算力除以单块 Blackwell GPU 在运行期内的产出,四舍五入至最接近的 500。训练算力约为每个训练 token 每个活跃参数 6 次运算,外加注意力计算。我们假设 GPU 以约 20% 峰值速度运行,与其他已披露的 Blackwell 训练运行一致(DeepSeek 为 25%,其此前模型曾报告 39%),运行时长依据发布时间线估算。H100 等效换算采用 NVIDIA 公布的峰值速度:一块 B200 或 B300 约等于 2.3 块 H100,一块 GB200 或 GB300 约等于 2.5 块。* *我们对这些估计并不完全有信心。它们依赖于权重无法验证的假设:各实验室使用 GPU 的效率(通常称为 MFU),没有实验室公布这些运行的 MFU 数据;每个模型的训练 token 数量(DeepSeek 的数字为自行公布,我们予以采信;其他为我们的估算,通过权重并使用一种尚未发表的方法得出);每次运行的持续时长,没有实验室披露;以及训练是否始终在创建权重的硬件上进行。运行时长影响最大,因为时长减半会使 GPU 数量翻倍。同一硬件上两次已披露的运行显示了差异范围:Mistral 称其使用 3,800 块 Grace Blackwell GPU 训练了与 DeepSeek-V4-Pro 活跃参数量相同的 Mistral Large 4,而微软称其使用 16,000 块 GPU 在 38 天内训练了规模相近、数据量更大的 MAI-Base-2。按该速度,此处最大的两次运行将需要约 8,000 至 9,000 块 Blackwell GPU。这些数字仅涵盖每个模型的最终训练运行,不包括实验、早期运行或推理服务。* *2026 年 11 月 12 日修订。本报告第一版给出的数字为最大运行需 2,000 至 3,000 块 Blackwell GPU,最大集群成本为 1.5 亿至 2 亿美元。该数字假设 GPU 效率达到 NVIDIA 自身基准测试的水平,而基于 Blackwell 披露的训练运行效率均较低。上述估计已取代旧版。我们还新增了 H100 等效数量和估计运行时长。* ## 我们的调查 模型的*权重*(也称为*参数*)是决定其如何处理信息并生成答案的数十亿个可调数字。训练会反复调整这些数字;但在训练开始之前,它们需要初始值。在本文分析的软件中,这些初始值来自一种名为 Philox 的伪随机数生成(PRNG)算法:Philox 以确定性方式生成看似随机的数字。Philox 的初始输入称为"种子"。给定相同的种子和设置,Philox 每次都会生成相同的数字。这使得工程师能够从同一出发点重复实验。 为了快速填充数十亿个权重,PyTorch(大多数主流 AI 模型开发所用的软件框架)将 Philox 的工作分配给 GPU 上许多并行工作者,称为*线程*。(它通过 cuRAND——NVIDIA 的随机数生成库——来实现。)每个线程从种子生成自己的数字序列并填充特定的位置集合。线程数量决定了这些位置如何分配。在本文分析的 NVIDIA 芯片上,足够大的初始化会为每个处理单元(称为*流式多处理器*,SM)使用最大 2,048 个线程。因此,SM 更多的芯片会将相同的工作分配给更多工作者,从而改变数字的落位。 **图 1**展示了一个拥有六个 SM、每个 SM 八个线程(共 48 个线程)的简化 GPU 上的工作原理。将权重想象成一长排空盒子,为适应页面而卷成网格。第一个线程填充第一个盒子,第二个线程填充第二个盒子,依此类推直到全部 48 个线程。第一个线程的下一个数字随后进入第 49 个盒子,再下一个进入第 97 个盒子,以此类推。黑色轮廓沿网格追踪这一个线程:第一个线程填充每第 48 个位置。颜色标识提供每组值的处理单元,右侧面板中的亮度则代表数值本身。 **图 1** 图 1. GPU 如何填充权重。此简化示例使用六个处理单元、每个单元八个线程,共 48 个线程。带轮廓的单元格属于线程 0,它填充每第 48 个位置。真实芯片使用的线程数要多得多,但放置规则相同。 [链接 ↗](https://unemploymentlabs.com/checkpoint-forensics#figure-1) 现在保持种子不变,但将 GPU 从六个 SM 换成五个。在我们的简化示例中,这意味着 40 个线程而非 48 个。第一个线程生成完全相同的序列,但现在将数字放入第 1、41、81 个盒子,而非第 1、49、97 个盒子。**图 2**追踪了这些数字随位置变化的情况。在整个网格中,只有 6% 的值与原始排列匹配。种子是正确的,但工作者数量不对。**正是这一点使模型权重的排列成为识别创建所用芯片的线索。** **图 2** 图 2. 同一种子在不同 GPU 上的表现。在此玩具示例中使用五个处理单元和 40 个线程,线程 0 生成相同序列,但填充每第 40 个位置而非每第 48 个位置。仅 6% 的显示矩阵与原始排列匹配。 [链接 ↗](https://unemploymentlabs.com/checkpoint-forensics#figure-2) 因此,复现权重需要两件事同时正确:种子必须生成正确的数字,线程数量必须将它们放在正确的位置。种子正确但线程数量错误,大多会得到放在错误位置的正确数字;线程数量正确但种子错误,则会得到不同的数字。**图 3**说明了为什么*只有正确的组合*才能重建原始排列。 **图 3** 图 3. 种子和布局必须同时匹配。只有种子和线程数量都正确时才能复现原始矩阵。改变任一项都会破坏大部分匹配。简化芯片代表 Blackwell B300 和 Hopper H100。淡化单元格表示与已发布权重不同。带编号的单元格显示线程 0 的数字落位,每个面板下方的条带显示数字本身。 [链接 ↗](https://unemploymentlabs.com/checkpoint-forensics#figure-3) 在真实芯片上线程数量要大得多,但原理相同。在本文分析的 NVIDIA 配置中,Hopper H100 SXM、H200 和 H800 拥有 132 个 SM,使用 270,336 个线程;Blackwell B200/B300 拥有 148 个 SM,使用 303,104 个线程;Blackwell GB200/GB300 拥有 152 个 SM,使用 311,296 个线程。因此,还原线程数量可以告诉我们初始排列匹配哪一组硬件,尽管无法区分组内的具体芯片。例如,Hopper 匹配无法区分 H800 与 H100 或 H200。 关键问题是:该排列在训练后是否仍有足够的痕迹可供我们还原。某些权重——例如预留给训练期间从未遇到的词语或符号的权重——可能保持不变,几乎完整地保留初始值。我们可以将这些保留值直接与候选种子和线程数量生成的初始值进行比较。**图 4**展示了这样一次比较:DeepSeek-V3 的保留权重匹配 Hopper 排列,而 DeepSeek-V4-Flash 的匹配 Blackwell 排列。 **图 4** 图 4. 保留的初始值揭示布局。每个点将一个已发布权重与从种子重新生成的值进行比较。对角线表示值匹配。DeepSeek-V3 匹配 Hopper 布局,而 V4-Flash 匹配 Blackwell 布局。各面板显示每个模型四个保留行中的 4,096 个值。 [链接 ↗](https://unemploymentlabs.com/checkpoint-forensics#figure-4) 即使是训练已改变的权重,也可能保留其初始值的微弱痕迹。每个最终权重等于其初始值加上训练期间的所有调整。如果这些调整没有完全抵消或淹没初始差异,某些差异就会存活下来。例如,两个分别从 0.2 和 0.8 开始、各增加约 0.1 的权重,之后仍将保持相同的顺序。实际调整的差异要大得多,因此单个权重能告诉我们的很少。但在数十万个权重上,我们可以检验较高的初始值是否仍倾向于对应较高的最终权重。**图 5**展示了这种微弱但可测量的关系。这是在这些权重中的一个发现,而非保证能在每次训练运行中存活的属性。 **图 5** 图 5. 训练后的权重保留更微弱的痕迹。左侧面板和中间面板在 DeepSeek-V4-Flash 的 42 层上对每层 745,472 个权重取平均。在

相似文章