我们需要为某些中国实验室对API进行的攻击创建一个新的术语，以区别于蒸馏（distillation），否则我们可能会玷污一项对AI扩散、学术研究及开源生态至关重要的技术。 https://t.co/0McX0f1u98

蒸馏恐慌

来源：https://www.interconnects.ai/p/the-distillation-panic “蒸馏攻击”这个词，用来描述目前正在发生的事情，简直糟糕透顶。确实，一些中国实验室正在通过黑客手段或破解API，试图从模型API中提取更多信号——阻止这种行为对于维持美国在AI能力上的领先地位很重要。但把这种行为称为“蒸馏攻击”，将不可避免地让所有蒸馏技术都与这种行为挂钩。而蒸馏本身，是一项通过学术和经济活动广泛扩散AI能力所需的核心技术。

我们之前在“开源”与“开放权重”的争论中，就经历过这种语言上的转变。最终所有术语都简化成了“开放模型”——在庞大的AI社区中，很少有人能确切区分“开源”和“开放权重”。术语很重要，因为那些信息不充分、但仍然关心并影响技术发展的人，会被他们使用的不同术语所束缚。如果我们对蒸馏的讨论不够谨慎，很多人可能会将这种用于研究和开发新模型的广泛技术，与处于企业操纵和犯罪边缘的行为联系起来。

分享（https://www.interconnects.ai/p/the-distillation-panic?utm_source=substack&utm_medium=email&utm_content=share&action=share）

我最近写了一篇更技术性的文章（https://www.interconnects.ai/p/how-much-does-distillation-really），评估最先进的蒸馏方法对中国领先模型的影响有多大。本文则旨在呼吁在针对这些方法制定政策时要谨慎，避免仓促行动。先来回顾一下，Anthropic最近的一篇博文中详细描述了“3家中国实验室进行的蒸馏攻击”（https://www.anthropic.com/news/detecting-and-preventing-distillation-attacks）。

这些实验室使用了一种叫做“蒸馏”的技术，即用较弱模型在较强模型的输出上进行训练。蒸馏是一种广泛使用且合法的训练方法。例如，前沿AI实验室通常会对自己模型进行蒸馏，为客户创造更小、更便宜的版本。但蒸馏也可能被用于非法目的：竞争对手可以用它在极短的时间和极低的成本下，从其他实验室获取强大的能力，而无需独立开发这些能力。

这一段很巧妙，它先说明蒸馏是普遍方法，然后解释少数人可能非法使用它，但没有详细说明非法使用往往涉及更明确的行为，如破解API、黑客攻击或身份冒充。

蒸馏本身就是行业标准。它被广泛使用，尤其是在后训练阶段，被较小的参与者用于创建专门化或更小的模型。在我即将于今年夏天出版的书中（https://rlhfbook.com/c/12-synthetic-data），我这样描述它：

“蒸馏”这个词，一直是围绕合成数据在语言模型中作用的最有力的讨论形式。蒸馏这一术语源于深度学习文献中“师生知识蒸馏”的技术定义。通俗地说，蒸馏是指使用较强模型的输出来训练一个较小的模型。在后训练中，这种蒸馏的一般概念有两种常见形式：1. 作为数据引擎，用于后训练过程的广泛环节：指令的补全、偏好数据（或宪法AI）、或强化学习的验证。2. 将特定技能从较强模型转移到较弱模型，通常用于数学推理或编码等特定技能。

根据这个定义，很容易看出蒸馏有多种形式。当然，如果你只是拿GPT-5.5的输出，用它们训练一个最新的开放权重基础模型，然后推出一个竞争性产品，那是另一回事。但很多属于蒸馏范畴的事情，其实是复杂的、多阶段的过程，使得被蒸馏模型的准确影响变得模糊。

现代LLM流程可能是这样的：先用GPT API构建一批初始合成数据，训练一个专门的、小型的数据处理模型。一个很好的例子是像olmOCR这样的模型（或此类中的许多其他模型），它们被训练用于将PDF转换为干净的文本。然后，这个专门的模型被用来创建大量数据。最后，你再用这些新数据训练另一个模型（通常是从头开始）。这最终的模型算是从GPT蒸馏而来的吗？

当通过封闭的、基于API的模型进行时，蒸馏处于你注册Claude或GPT平台时同意的服务条款的灰色地带。这些条款通常禁止使用API来创建竞争性的语言模型产品，但这一条款在很大程度上并未得到执行。开源社区曾经非常担心被这些尖端API切断联系，无法进行研究或创建公共数据集，但迄今为止，只有一例突出的企业账户被限制的案例（https://www.theverge.com/2023/12/15/24003151/bytedance-china-openai-microsoft-competitor-llm）（至少直到最近的中国公司事件）。

总而言之，蒸馏是一项行业标准技术，而使用封闭API进行蒸馏一直是一个灰色地带。Nvidia最新的Nemotron模型，作为少数公开后训练数据集的模型之一，在技术上很大程度上是从中国的开放权重模型中蒸馏而来的。我们在Ai2构建的Olmo模型则是从开放和封闭模型的混合体中蒸馏出来的。这个灰色地带再次被推到前台，是因为xAI被发现一直在从OpenAI蒸馏。引用最近Elon与OpenAI之间审判的庭审记录（https://x.com/MTSlive/status/2049886679876632724）：

OpenAI的律师问Musk，xAI是否曾从OpenAI“蒸馏”技术。Musk：“一般来说，AI公司会互相蒸馏其他AI公司。”“那么答案是‘是’吗？”Savitt问道。Musk：“部分是。”

xAI很可能是最大、最成功的敢于触碰这种灰色地带——从竞争对手处进行蒸馏——的AI公司。而另一边，大多数资源更少的初创公司和研究团队，很可能都曾以某种方式从Claude、GPT或Gemini模型进行过蒸馏。

在上述Anthropic的博文中，少数中国实验室进行的蒸馏攻击的问题，与其说是蒸馏本身，不如说是攻击的手段。有记录表明，中国实验室正在积极绕开API的预期用途，例如获取对训练非常有用的额外推理数据。

当然，任何人都无权访问开发者未打算在其API中透露的模型信息（例如，对训练有帮助的推理痕迹）。将所有的蒸馏行为都与这些攻击挂钩——而蒸馏至今仍是后训练的行业标准，并且适用于开放和封闭模型——将是一个巨大的自摆乌龙。

这些少数实验室所做的，应该被称为“破解”或“滥用”，而不是“蒸馏”。

围绕这些行为的讨论，正在制造一种令人不安的态势，正走向监管俘获或监管过度的混合体，这最有可能损害美国生态系统而非中国。即使我们通过潜在的法律行动和其他惩罚来禁止这种API滥用，中国公司很可能仍会继续这样做。我们已经在中国多模态模型上看到过这种模式：它们对受版权保护的内容采取灵活态度，而任何美国玩家都不愿冒这个风险。

关于蒸馏的讨论迅速升级：国会的一个委员会已提出一项法案（https://www.congress.gov/bill/119th-congress/house-bill/8283/text），一项行政命令（https://whitehouse.gov/wp-content/uploads/2026/04/NSTM-4.pdf）推动行动，以及国会监督（https://www.semafor.com/article/04/29/2026/house-committee-probes-cursor-parent-airbnb-over-chinese-ai）针对那些基于中国模型（而这些模型又是蒸馏的下游产物）构建产品的美国公司。这种多管齐下的监管环境可能产生真正可怕的后果——例如，找到一种方法，有效禁止美国境内那些由中国团体通过滥用封闭LLM API构建的开放权重模型。

显然，没有任何法案会直接字面禁止开放模型，但它们可以制造灰色地带，使相关实体暴露于不必要的风险之下，或者要求某些在官僚层面上极难履行的条款，从而碾压小型的开源贡献者。

在这种情况下，受损的是西方的学者和为AI长尾用途构建模型的小公司。如果几乎所有的中国开放权重模型都被移除，这个生态系统可能会永久性地边缘化。目前没有立即可用的替代品，而要构建具有有意义的社区采用的新模型，其前置时间需要6个月以上。在建立一个新的国内开源生态系统所需的时间里，无数研究人员可能已经转向封闭训练平台或新的领域。

总的来说，我希望这阵围绕蒸馏的讨论热潮最终不了了之，而不是演变成仓促的、多管齐下的政策推进。我们需要避免两件事：

1. “蒸馏”一词被赋予整体负面含义，而它在AI生态系统中被广泛使用。
2. 对由从事部分蒸馏活动的组织构建的开放权重模型，实施国内禁令。

除此之外，我希望领先的美国AI公司能够在提供API的同时，防止其知识产权泄露。它们应该分享更多信息，说明为何保护其API如此困难，但这是个超出我专业范围的问题。

最后，我将以我的朋友Kevin Xu（来自Interconnected Capital（https://www.interconnectedcapital.com/），以及优秀的Substack（https://interconnect.substack.com/））的一个提议作为结尾：解释为什么当前的蒸馏动态可能实际上对领先实验室有利。

如果所有中国公司都沉迷于蒸馏作为接近前沿的方法，那么它们永远不会真正学会取得全面领先所需的技术。如果我们切断中国人明显的模型构建拐杖，我们将在AI领域获得短期领先，但从长远来看，这可能正是他们走上更具竞争力长期轨迹所需的东西。

这与我们在其他美国目前领先的技术（例如先进半导体技术）上的争论如出一辙。所以我理解其中的权衡，但我们不应该打击所有形式的蒸馏。