新技巧揭示AI模型的内心想法

# 新技巧揭示AI模型的内心想法 来源：https://www.wired.com/story/a-new-trick-reveals-ai-models-inner-thoughts/ 计算机科学家最近发现了一种方法，可以提取前沿AI模型（https://www.wired.com/tag/artificial-intelligence）在处理复杂问题时所执行的隐藏“思考”。 这些发现提供了一些证据——尽管不是确凿的证据——表明某些中国模型可能是通过“蒸馏（https://www.wired.com/story/how-distillation-makes-ai-models-smaller-and-cheaper/）”美国模型中本应被隐藏的推理信息来训练的，因为它们的某些思考或推理模式似乎非常相似。研究人员还证明，该方法可用于从模型的内部推理中恢复个人信息，例如密码和API密钥，尽管此漏洞已被修复。 “我们测试的所有主要前沿模型提供商都存在这一漏洞，”参与这项工作的德国图宾根大学计算机科学家Alexander Panfilov表示。“这可能导致个人信息泄露，并使大规模推理蒸馏攻击成为可能。” Panfilov及其来自图宾根大学、马克斯·普朗克研究所、AI安全研究所MATS Research以及安全公司Snyk的同事，在通过应用程序编程接口（API）访问OpenAI、Anthropic和Google的前沿模型时，发现了同样的问题。 在一篇阐述该工作的论文（https://stolen-thoughts.com/paper.pdf）中，研究人员表明，来自Moonshot AI的可下载开源权重中国模型Kimi K3（https://www.wired.com/story/moonshot-kimi-k3-ai-model-escape-sandbox/）在某些提示下，产生的输出与Claude Opus 4.8和GPT 5.6 Sol的隐藏推理痕迹（即解决问题时书面化的推理步骤）惊人地相似。尽管存在相似性，他们指出这项工作“无法从因果上确定蒸馏”。他们发现，另外两个开源权重模型——中国的DeepSeek和美国公司Thinking Machines的Inkling——并未表现出与Claude Opus的这种推理相似性。 Moonshot AI和Z.ai在文章发表时未回应置评请求。 蒸馏（https://www.wired.com/story/how-distillation-makes-ai-models-smaller-and-cheaper/）是一种成熟且广泛使用的技术，用于高效地将现有模型的能力复制到新模型上，在开源权重或完全可下载模型的开发中尤其常见。 然而，近来蒸馏已成为一个有争议的话题，因为有说法称中国AI公司利用它来实质性地复制美国最好的模型。2月，OpenAI告诉美国立法者（https://www.reuters.com/world/china/openai-accuses-deepseek-distilling-us-models-gain-advantage-bloomberg-news-2026-02-12/），DeepSeek似乎复制了其一款模型来构建名为R1的推理模型。6月，Anthropic告诉立法者（https://www.cnbc.com/2026/06/24/anthropic-alibaba-distillation-campaign.html），阿里巴巴曾系统性地蒸馏其模型，以构建自己的模型Qwen。 目前没有迹象表明中国AI公司使用了这种特定技术来蒸馏美国AI模型。但Panfilov及其合作者表示，使用他们的方法，从闭源模型中蒸馏出比此前所认知的更多信息是可行的。 ## 迷你版模型 先进的AI模型通过将难题分解为组成部分，并以一种人工推理或“思维链”的方式依次分析来解决困难问题。公司倾向于对专有模型的推理保密，以防止他人利用它们来训练新模型。然而，它们通常也会以将部分计算卸载到用户计算机的方式，向用户计算机发送该推理的加密版本。 研究人员的攻击利用了这样一个事实：大多数AI公司还提供不同尺寸的相关模型。较大的模型能力更强，但运行和访问的计算成本也更高。用户可能会为某些任务选择更小、更弱的模型以降低成本。 Panfilov及其同事发现，将加密的推理痕迹输入同一模型的较小版本，可以揭示内部隐藏的推理。较小的模型接受的“对齐”训练较少，这意味着与较大的模型不同，它们不太可能拒绝透露内心想法。 “将消息交换给一个更弱的模型变体，该变体拥有相同的解密密钥但对齐较弱，这个想法非常酷，”苏黎世联邦理工学院专攻计算机安全的计算机科学家Florian Tramer说。“这肯定正在成为一个问题。” 同样的方法还揭示了从用户机器上捕获的推理痕迹中嵌入的API密钥和密码等秘密信息。 Panfilov和合著者上个月已就这一漏洞向OpenAI、Anthropic和Google发出警告。每家公司都已调整其API以缓解该问题。Panfilov表示，虽然不再可能通过这种方式提取私人信息，但使用相同方法仍能发现某些推理痕迹。他说，要完全修复蒸馏问题，需要对这几家公司的API工作方式进行根本性改革。 “我们重视针对我们模型的独立研究，并已开始为报告中描述的重放行为构建短期缓解措施，”Anthropic发言人Michael Aciman表示。他补充说，该研究不涉及恢复加密密钥、访问Anthropic的基础设施或从其系统恢复个人数据。 Google和OpenAI均拒绝发表评论。 近几个月来，随着美中公司在争夺AI霸权的过程中推出越来越强大的模型，蒸馏已成为具有地缘政治重要意义的问题。对华鹰派声称，中国通过蒸馏美国技术来构建运行成本更低的开源权重模型，从而获得战略优势。 然而，其他人则认为，蒸馏是一种广泛使用的方法，有助于快速提升AI模型在某些领域的能力。Meta首席执行官Mark Zuckerberg本周在一篇博客文章（https://www.meta.com/thefutureisforeveryone/）中表示，蒸馏“是开源生态系统运作的重要原则”，并警告称限制这种做法将使美国处于不利地位。 科技政策智库安全与新兴技术中心的研究员Kyle Miller表示，目前尚不清楚蒸馏对中国有多大帮助。这是因为蒸馏只能在有限程度上增强现有模型的能力，而且中国公司似乎拥有在需要时完全从头构建尖端模型所需的专业知识。“美国这里没有人知道蒸馏对中国实验室有多大好处，”Miller说。“如果取消了中国的实验室进行蒸馏的能力，我认为这不会显著改变竞争格局。” 为了测试开源权重模型是否可能从闭源模型中蒸馏，研究人员向每个模型提出了90个问题。当他们向某些开源权重模型提供从专有模型组捕获的推理痕迹的前几个词时，有时会看到这些开源模型生成非常相似的答案。研究人员表示，这在Kimi K3身上尤其明显。此前，中国社交媒体上已有些猜测（https://x.com/giantcutie666/status/2079679762222502025），认为有可能发现并利用隐藏的推理痕迹进行蒸馏。 牛津大学计算机科学家Yarin Gal表示，蒸馏不仅被广泛使用，而且还帮助AI更快地进步。“如果大家都互相阻止（进行蒸馏）成为常态，那也会对进步速度产生影响，”他说。 公司和政策制定者可能会采取措施限制蒸馏，但即便如此，AI模型仍可能以令人惊讶的方式继续揭示其内心思考。