蒸馏护城河（6分钟阅读）

# 蒸馏护城河 来源：https://blog.dshr.org/2026/07/distilling-moat.html Web 服务器的原始功能是通过揭示其内部数据的适当部分来响应查询。这必然意味着重复查询，例如来自搜索引擎或互联网档案馆的网络爬虫，可以提取服务器的全部内部数据。由于提取的数据已在 Web 上发布，因此不属于商业秘密。它受发布者版权的保护。这导致了多起诉讼，例如针对互联网档案馆、谷歌和其他公司的诉讼。这也是搜索引擎只显示其收集内容的“片段”的原因。 AI 公司的知识产权是其模型。他们投入巨资资助训练这些模型所需的技术和人力资源、数据中心里成排的 GPU，以及成群的标注图像、与初生模型进行“真实人类对话”的工人。这些支出被认为在由此产生的价值周围创造了一道“护城河”，因为竞争对手要创建一个同等模型同样需要高昂的成本。正是这道护城河支撑了他们惊人的估值，尽管他们尚未盈利。 下面我将解释为什么他们的护城河非常浅。与许多 Web 服务一样，LLM 的功能是通过揭示其内部数据（即其模型的一部分）的适当部分来响应查询。因此，重复查询原则上可以复制模型。这些模型并未发布，不受版权法保护[1 (https://blog.dshr.org/2026/07/distilling-moat.html#Footnote1)]，也无法获得专利。它们唯一的保护是作为商业秘密。使用重复查询的人可能会违反系统的服务条款，但这并不是强有力的法律保护。AI 公司没有强有力的立场来论证“爬取”其 Web 服务器是非法的，因为这正是他们最初创建模型的方式，他们声称这属于合理使用。 事实证明，通过重复查询复制其他模型是该行业的标准技术，称为“蒸馏”。例如，Tim Fernholz 报道称*埃隆·马斯克作证说 xAI 使用 OpenAI 模型训练了 Grok* (https://techcrunch.com/2026/04/30/elon-musk-testifies-that-xai-trained-grok-on-openai-models/)： > 周四在加州联邦法院 (https://techcrunch.com/2026/04/29/on-the-stand-elon-musk-cant-escape-his-own-tweets/)出庭时，埃隆·马斯克被问及 xAI 是否使用过蒸馏技术来训练 Grok，他断言这是 AI 公司的普遍做法。当被问及这是否意味着“是”时，他说：“部分是。” Rebecca Bellan 报道称*Anthropic 指控中国 AI 实验室挖掘 Claude，美国正辩论 AI 芯片出口* (https://techcrunch.com/2026/02/23/anthropic-accuses-chinese-ai-labs-of-mining-claude-as-us-debates-ai-chip-exports/)： > Anthropic 指控 (https://www.anthropic.com/news/detecting-and-preventing-distillation-attacks) 三家中国 AI 公司使用其 Claude AI 模型设置了超过 24,000 个虚假账户，以改进他们自己的模型。这些实验室——DeepSeek (https://techcrunch.com/2025/09/29/deepseek-everything-you-need-to-know-about-the-ai-chatbot-app/)、Moonshot AI (https://techcrunch.com/2024/02/21/moonshot-ai-funding-china/) 和 MiniMax (https://techcrunch.com/2025/01/15/chinese-ai-company-minimax-releases-new-models-it-claims-are-competitive-with-the-industrys-best/)——据称通过这些账户与 Claude 进行了超过 1600 万次交互，使用了一种称为“蒸馏”的技术。Anthropic 表示，这些实验室“针对 Claude 最具差异化的能力：代理推理、工具使用和编码。” 蒸馏效果非常好，因为受害者正在大规模补贴其服务的使用。如果服务使用极其有利可图，蒸馏将变得负担不起。 在实践中，蒸馏只能复制受害者模型的一部分。公司利用这一点，特别是对开放权重模型，来生产小的、专门的模型，例如 David Berreby 在 *《小型 AI 模型在全球获得关注》* (https://spectrum.ieee.org/small-language-models-ai-pharmaceuticals) 中描述的那些。但被 Anthropic 指控 (https://techcrunch.com/2026/02/23/anthropic-accuses-chinese-ai-labs-of-mining-claude-as-us-debates-ai-chip-exports/) 的中国蒸馏者并非从零开始，他们已经拥有一个模型。他们只是想复制自己模型缺乏的某些能力。因此，他们不需要提取整个模型，只需要相关的部分。 我在过去十多年来一直撰写的现代互联网的一个特征，就是 *《物联网》* (https://blog.dshr.org/2014/10/the-internet-of-things.html) 的安全灾难。因为数以亿计的“智能”设备暴露在互联网上，几乎所有这些设备都有已知的、未修补的漏洞，因此很容易构建庞大的僵尸网络，从无辜的、无法追踪的 IP 地址攻击网站。自由软件基金会的 Ian Kelling 在 *《我们的小团队 vs 数百万机器人》* (https://www.fsf.org/blogs/sysadmin/our-small-team-vs-millions-of-bots) 中从前线报道： > 首先，FSF 的协作软件开发系统 GNU Savannah 从一月份开始遭到一个控制约 500 万 IP 地址的庞大僵尸网络的攻击。截至撰写本文时，攻击仍在进行中，但当前版本的僵尸网络已被缓解。其目标可能是构建 LLM 训练数据集。我们不知道幕后黑手是谁或是什么。 这是一个 AI 公司使用僵尸网络收集训练数据的例子。假设一家公司使用这个 500 万 IP 地址的僵尸网络进行蒸馏。MiniMax 的“超过 1300 万次交互” (https://www.anthropic.com/news/detecting-and-preventing-distillation-attacks) 相当于每个 IP 地址略少于 3 次交互。 为了维持其护城河，AI 平台必须做以下两件事之一： - 实施抗蒸馏防御措施。 - 提高价格，使蒸馏攻击不经济。 500 万节点的僵尸网络将非常难以防御；每个 IP 地址生成的流量不足以特征化，而且大多数是住宅地址，这可能是客户。AI 平台将陷入与蒸馏者的军备竞赛。Anthropic 正在尝试 (https://www.anthropic.com/news/detecting-and-preventing-distillation-attacks)： > 我们已经构建了几个分类器和行为指纹识别系统，旨在识别 API 流量中的蒸馏攻击模式。这包括用于构建推理训练数据的思维链诱导检测。我们还构建了检测工具，用于识别跨大量账户的协调活动。 将这些防御措施应用于大多数流量是有成本的，Anthropic 承认 (https://www.anthropic.com/news/detecting-and-preventing-distillation-attacks)： > 没有一家公司可以单独解决这个问题。如上所述，这种规模的蒸馏攻击需要 AI 行业、云服务提供商和政策制定者的协调应对。 假设所有封闭模型都具备蒸馏者想要的能力。他们不仅可以将蒸馏分散到数百万个 IP 地址和数万个账户，还可以分散到所有具备所需能力的封闭模型中。 [](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiNjC6dKfRQQ-7RBkMii5J1vCW2KYEcUiKURynz9qkkQVlVrD-1mD9M7vGvc1x2T4NLVOV9xLDFm1_rO3bLKsEkmCAW8fD0IQMEiw3GKklcIIcQcC2tIXoJ4CpLEQ3c60b89_LiJZprEUEnFOu7xEZ_aOEChTjfjRUWij4KH3ZiPSNldpRwexpr_aw5YCG-/s868/Who%20IsKimi.png)“前沿”模型已经处于技术发展的 S 曲线的平缓部分。开放权重模型越接近封闭模型，它们追赶所需的蒸馏交互就越少。注意，MiniMax 需要“超过 1300 万”，而 DeepSeek 只需要“超过 15 万”。Moonshot 最近发布的 Kimi K3 在基准测试中显然很接近——这可能与 Moonshot 与 Claude 的“超过 340 万次交互”有关……@jordanschneider 在推特上发布了这张图片 (https://x.com/jordanschneider/status/207883705959103734). AI 安全研究所 (https://x.com/AISecurityInst/status/2078103148665667648) 发推说： > 我们对前沿网络能力中开放/封闭权重差距的首次公开分析发现，GLM-5.2 和 DeepSeek V4-Pro 的差距为 4-7 个月，相较于 2025 年大部分时间的 6-10 个月有所缩小。先进能力到达保护较少的开放模型的速度比以前更快了。 完整细节见该研究所博客上的 *《领先开放权重模型在网络方面落后前沿多远？》* (https://www.aisi.gov.uk/blog/how-far-behind-the-frontier-are-leading-open-weight-models-on-cyber)。 重要的是，正如 Max Weinbach (https://x.com/enzo_gte/status/2078102070482153717) 所发推文，开放权重模型具有封闭模型所缺乏的能力： > 在使用了最近发布的三款模型——Fable、GPT 5.6 以及现在的 Kimi——之后，很明显，由于上个月与美国政府 (USG) 的闹剧导致的安全限制，模型的全部力量被严重压制——这导致顶级模型在某些领域实际上被阉割了，因为安全措施污染了其整个思维和问题解决能力，从而导致结果不佳。有趣的是？你可以在两三年前就开始看到中国电动汽车和智能手机相对于西方替代品的崛起时预测到这一结果。他们真的竭尽全力模仿特斯拉 Model S 和 iPhone，然后最终开始分化，以至于他们的电动汽车和手机在某些方面确实更好***（这也是为什么我们实施出口管制禁止他们的电动汽车，因为他们真的会把所有美国制造商逼到零销量）*** AI 安全研究所 (https://x.com/AISecurityInst/status/2078103156630712517) 证实了这一点： > 我们对开放权重模型的评估基本不受安全措施阻碍。在我们测试的两个最近的开放模型中，DeepSeek V4-Pro 偶尔拒绝狭窄的网络任务，但通过对被拒绝的任务进行少量重复尝试即可轻易规避。这些发现表明，在今天的前沿网络能力可能在没有安全措施的情况下广泛普及之前，只有一个狭窄的时间窗口。 封闭模型最好的防御措施也只能是足够减缓蒸馏者的速度，使平台的模型保持不断缩小的领先优势；这不太可能证明其巨大的成本差异是合理的。 更糟糕的是，提高价格可能不是一个选项。不仅仅是因为 *《AI 的可负担性危机》* (https://blog.dshr.org/2026/06/ais-affordability-crisis.html) 意味着这样做会失去许多他们需要用来偿还巨额债务的企业客户。更重要的是，为有限数量的“交互”提供免费层级是一个重要的营销工具。因为僵尸网络中的每个地址都可以归入免费层级，蒸馏者将不会看到价格上涨，或者根本不会看到任何价格。 如果 AI 平台无法通过定价来阻止蒸馏，并且只能希望通过昂贵的军备竞赛勉强领先于蒸馏者和开放权重模型，那么他们的护城河就非常浅。这根本不足以证明万亿美元的 IPO、覆盖全国的数据中心或将其 *发射到太空* (https://blog.dshr.org/2025/12/data-centers-in-spaaaace.html) 是合理的。 ### 脚注 1. “人类创作是版权的基本要求 (https://advance.lexis.com/f/courtlinkdocument/jobstatus/downloadfile/10cc5a90-44dd-4265-84f4-9931d25b9c06/urn:contentItem:68YV-C3P3-RS4R-K2RK-00000-00/24/0/d33029430e1567/0/blob/US_DIS_DCD_1_22cv1564_d33029430e1567_MEMORANDUM_OPINION_regarding_the_plaintiff_s_16_Mo)。可以认为，训练集中内容的选择涉及人类创作。但这使得版权适用于训练集，而不是通过机械过程从训练集生成的模型。蒸馏复制的是模型，而不是训练集。即使模型受版权保护，这也可能不影响蒸馏。因为模型本质上是统计性的，即使蒸馏者成功提取了受害者模型的全部内容，结果也会与受害者不同。因此蒸馏者可以论证他们的蒸馏是变革性使用，因而是允许的。