什么是AI模型蒸馏，为什么几乎无法阻止？

# 什么是AI模型蒸馏，以及为什么它如此难以制止？ 来源：https://www.scientificamerican.com/article/what-is-ai-model-distillation-and-why-is-it-so-hard-to-stop/ 酿造谷物酒时，你会把发酵好的酒醪加热到蒸馏器中，富含酒精的蒸汽上升后再冷凝回液体，得到更烈的酒。化学家和威士忌酿造师把这称为蒸馏（distillation）。人工智能开发者借用了这个词，来描述将一个庞大的AI模型"蒸馏"成一个小得多的模型——而最近，最大的几家AI公司声称，竞争对手的行为简直像私酒贩子一样肆无忌惮。 九月，[Anthropic](https://www.anthropic.com/threat-intelligence-report-september-2026)和[OpenAI](https://openai.com/index/disrupting-a-coordinated-model-distillation-campaign/)分别详细披露了它们如何发现并阻止了针对其旗舰模型的蒸馏行动——即从这些模型中提取足够多的信息，以训练出能在体积和成本仅为原来一小部分的情况下模仿原模型的新模型。 随着美国AI公司试图为高估值辩护，并抵御来自彼此和开源替代方案的竞争，蒸馏已经成为一块心病。假如某个中国模型开发者可以搭便车，利用这些公司投入的巨额资金和算力，那么继续开发新模型的动力就会逐渐消散。 --- ## 关于支持科学新闻事业 如果你喜欢这篇文章，请考虑通过[订阅](https://www.scientificamerican.com/getsciam/)来支持我们屡获殊荣的新闻报道。购买订阅有助于确保那些报道当今塑造世界的发现与思想的重磅故事能够持续产出。 --- 没有人认为蒸馏会很快停止——因此我们请教了研究这一问题的研究者，让他们来解读当前的局势。 正如蒸馏器将一大批低度酒液浓缩成一小批高度烈酒一样，AI蒸馏将一个大模型压缩成一个小模型，理想情况下，小模型的行为与原模型一致。这个过程始于一个已有的大模型，被称为"教师模型"。开发者反复向教师模型提出大量提示，然后将其回答作为输入喂给新的模型——"学生模型"，以此来训练后者。 从某种意义上说，教师模型的每一个回答都包含着它在训练过程中学到的信息，因此这些知识无需再经过收集数据、在数据中发现模式和获取人类反馈的过程，就能传递给学生。蒸馏让一个人仅仅通过使用AI模型并观察其回答，就能对其进行逆向工程。 一个有利因素是，AI模型往往会透露比最终答案更多的内容。"通常教师模型给你的不只是标签，而是提供了更细粒度的信息，"圣路易斯华盛顿大学计算机科学教授 Yevgeniy Vorobeychik（https://engineering.washu.edu/faculty/Yevgeniy-Vorobeychik.html）说。这些信息可能包括模型为每个可能的回答分配的概率，或者——正如OpenAI所描述的案例——一段加密记录，其中包含其更强大的模型在回答之前进行的逐步推理过程。 ## **为什么首先要进行蒸馏？** 许多蒸馏行为是完全正当的。更小的模型意味着开发者能以更低的成本获得更高的产出。事实上，这个概念早于大语言模型（LLM）出现；早在2000年代，研究者就在探索如何利用它来提高神经网络的效率。"我们关心的是让模型更小、更容易使用、更快部署，"机器学习研究员 Alexandru Niculescu-Mizil（https://www.linkedin.com/in/niculescu-mizil/）说，他曾于2006年合著了该领域的早期论文。 蒸馏别人的模型则是另一回事。这个词在2025年初首次引起主流关注，当时还是默默无闻的中国初创公司DeepSeek发布了一款名为R1的推理模型，声称训练成本不到30万美元——仅为美国实验室花费的一小部分。随后[很快出现了](https://www.theatlantic.com/newsletters/archive/2025/02/what-is-ai-distillation/681616/)指控，称DeepSeek的部分训练数据来自从OpenAI模型中提取的回答。 如今，这个词通常与模型窃取的指控联系在一起，矛头主要指向中国开发者，例如DeepSeek和Kimi的开发商月之暗面（Moonshot AI）。在九月的报告中，Anthropic和OpenAI都将近期发现的蒸馏行动归咎于中国的实验室，称此类活动"非法"且"未经授权"。[DeepSeek](https://www.wsj.com/tech/ai/openai-china-deepseek-chatgpt-probe-ce6b864e)和[月之暗面](https://www.wsj.com/tech/ai/chinese-ai-giants-accused-of-sending-millions-of-user-queries-to-u-s-models-768c9d26?st=jtK4Uo&reflink=desktopwebshare_permalink)过去都曾对这些指控予以驳斥。当然，[Anthropic](https://authorsguild.org/advocacy/artificial-intelligence/what-authors-need-to-know-about-the-anthropic-settlement/)和[OpenAI](https://www.reuters.com/legal/litigation/openai-new-york-times-case-tees-up-key-test-ai-training-under-copyright-law-2026-09-08/)本身也曾被指控在未经授权的情况下从互联网各处获取数据用于训练模型。 尽管如此，虽然这些公司也将蒸馏描述为一种安全风险，但它们阻止蒸馏的最明显动机显然是保护其竞争优势。"你通过提示得到的文本正在被某些竞争对手窃取，"德国马克斯·普朗克智能系统研究所的博士生 Alexander Panfilov（https://kotekjedi.github.io/）说。"但在概念层面上，你窃取的是[模型的]能力。" ## **那么，蒸馏是如何进行的？** 一般来说，蒸馏是通过收集成千上万条针对不同类型查询的AI回答来完成的。这些提示和回答随后成为学生模型的训练数据，通常通过一个称为监督微调的过程来实现——将教师模型的回答视为学生应尽力模仿的目标。经过多轮训练，学生模型的内部参数（称为权重）被不断调整，使其回答越来越接近教师模型的回答。 关键在于获取这些数据。Anthropic和OpenAI已详细描述了几种它们认为攻击者采用的巧妙手段。据Anthropic称，一些实验室将自己客户的提示转发给Claude，然后保存Claude的回答来训练自己的模型。该公司还表示，蒸馏者会试图隐藏自己的位置。与此同时，OpenAI[表示](https://openai.com/index/disrupting-a-coordinated-model-distillation-campaign/)蒸馏者试图通过"将一段对话中的加密推理复制出来，再让另一段对话中的模型对其进行解密"来获取其模型的隐藏推理过程。 Panfilov是一篇[预印本论文](https://arxiv.org/abs/2608.09867)的共同第一作者，该论文详细描述了这类攻击，OpenAI将他和同事的举报视为帮助公司发现此类攻击的重要线索。在这类攻击中，目标是蒸馏模型的推理能力——即模型为逐步解决难题而生成较长回答的能力。Panfilov和同事们将他们的项目命名为"被盗的思想"（Stolen Thoughts，https://stolen-thoughts.com/），这本身就说明了这个概念与窃取行为之间已经纠缠得有多紧密。 ## **如何识别蒸馏者？** 这些AI公司不愿透露它们具体是如何发现最近这些蒸馏尝试的，因为这样做会告诉下一个蒸馏者应该避开什么。但大致而言，这些公司似乎一直在监测那些以可疑方式使用其模型的账户——无论是短时间内发送大量提示，还是提出具有明显特征的问题。例如，Anthropic表示，从五月到七月，它观察到与阿里巴巴关联账户之间与Claude发生了超过1.51亿次交互，而阿里巴巴同时也是AI模型系列Qwen的开发方。 Panfilov说，他研究的这类攻击很容易检测，但他担心更精巧的攻击在不侵犯所有用户隐私的情况下无法被识别。"我不清楚[AI公司]会怎么做，特别是考虑到它们声称采用了零数据留存策略，"他说——指的是这些公司[不](https://code.claude.com/docs/en/zero-data-retention)保存[某些](https://openai.com/index/offering-zero-data-retention-for-frontier-models/)客户提示和回答的安排。 OpenAI和Anthropic都警告说，鉴于蒸馏的巨大价值，蒸馏者的手法只会越来越复杂。 ## **蒸馏能被制止吗？** 问题在于，正是那些让AI模型信息丰富、实用的特质，同时也让它们成为优秀的训练素材。因此，试图让模型更难被蒸馏，也可能让模型变得更差。今年夏天，Vorobeychik和同事们发现，可以重写模型的推理过程，使其成为模仿者的劣质训练素材，同时不会降低模型回答的准确性。但他们也发现，重写后的推理过程更难让人理解。Vorobeychik说："仅仅因为它们对大语言模型来说更难读懂用于训练，对人类来说也更难消化。"对于一项输出本身就已经因为难以理解而饱受诟病的技术来说，这显然是一个不受欢迎的取舍。 Panfilov还指出，蒸馏可以分步骤进行，"其中每一次查询本身都是无害的"。这使得区分普通使用者的正常提示和试图构建自有模型的行为变得更加困难。AI公司必须在保护模型能力与真正向公众展示这些能力之间找到平衡——毕竟，这才是它们出售的东西。 所有这些表明，制止非法蒸馏意味着必须在压制攻击之前先发现新的攻击。这些实验室实际上正在扮演收税官（revenuers）的角色——那些曾追查并拆除非法蒸馏器的酒类税官。但随着对蒸馏的担忧与对中国AI能力的更广泛忧虑交织在一起，仅靠逐一查处非法蒸馏器，恐怕不足以让美国AI行业安心。