研究者在AI模型中隐藏了一个加密能力，微调无法将其解锁

# 研究人员在 AI 模型中隐藏了一个加密能力，微调也无法将其解锁 来源：https://maccus.fr/en/ai-models-hide-capabilities-oxford/ 2026年10月9日，四位研究人员在 arXiv 上发布了一篇题为"AI Models Can Provably Hide Arbitrary Capabilities"（AI 模型可以可证明地隐藏任意能力）的论文（https://arxiv.org/abs/2610.13928）。作者在论文中注明该论文已被 NeurIPS 2026 接收。他们在 AI 模型的权重中隐藏了一个加密的神经网络——只有当输入包含一个秘密触发器时，它才会运行。在他们的测试中，微调（在特定任务上进行额外训练）和向权重中添加噪声都无法将其激活。 这很重要——如果你像我们在[企业本地 AI 指南](https://maccus.fr/en/local-ai-for-business/)中描述的那样在办公电脑上运行开放模型，或者如果你的供应商交给你一个用你自己的文档重新训练的模型。在你自己的用例上测试模型可以展示它能做什么。但正如论文所指出的，审计没有发现问题并不能证明某种能力不存在。 ## 模型权重中的加密密室 论文作者是 Andis Draguns（Contramont Research）、Sumeet Ramesh Motwani 和 Christian Schroeder de Witt（牛津大学）、以及 Raymond Douglas（ACS Research）。他们的威胁模型是攻击者在部署前篡改模型权重，例如恶意内部人员或被入侵的供应链。论文中的假设示例是一个编程助手，同时携带一个黑客模型——当它检测到已部署在关键基础设施中的迹象时就会被激活。而审计人员可以获得完整的模型（包括权重），并可以使用任何方法对其进行分析。 其核心构件是密码学家所称的"数字密室"。密钥经过哈希函数处理（此处使用支撑 SHA-3 标准的 Keccak 系列），输出与待保护的内容相结合。使用正确的密钥，计算可以恢复内容；使用任何其他密钥则只能得到无意义的比特，密室会报告失败。该机制是公开可见的，但在没有密钥的情况下，基于标准密码学假设，没有人能够打开它、恢复密钥或知道里面是什么。 论文中描述的机制示意图：模型的输入经过一个数字密室；如果输入包含正确的触发器，密室会释放出一个小型隐藏网络的权重并运行它；如果输入不正确，密室失败，模型照常作答；审计人员在没有密钥的情况下微调模型，其表现仍然停留在随机猜测水平。 2026年10月9日发布的论文中该机制的简化视图。 研究人员将一个小型神经网络的权重放入该密室，然后将整个结构编译成当今语言模型所基于的计算块。宿主模型每次处理输入时，都会尝试用该输入打开密室。输入正确触发器时，隐藏能力就会运行；没有触发器时，模型表现正常。 ## 重新训练也无法解锁加密模型 这个隐藏能力是一个小型分类器：给定化学试剂和一个候选产物，它能预测该反应是否能生成该产物。作者选择它作为与化学、生物、放射性和核风险相关能力的替代品，并将其限定在分类任务上以避免被直接滥用。他们的基线是标准技术——一个"密码锁定"模型，只有当提示中包含密码时才会正确回答。 在该任务上进行500步有监督微调后，密码锁定模型达到了92.8%的准确率。加密模型停留在50.9%，本质上是抛硬币的水平，而一个密室中装有随机网络的对照模型得分为50.6%。 测试数据上的准确率（三次运行的平均值，论文表2）： 在重新训练前向权重添加0.01或0.1的噪声不会实质性地改变这些结果。自动触发器搜索通过尝试全部256个可能值来查找一个8位密钥，其效果不比随机搜索好。使用16位密钥时，在其搜索预算内准确率保持在52.7%。使用正确的触发器时，加密模型落后于密码锁定模型（73.5% 对比 92.7%），因为它使用的是一个嵌入宿主中的更小的不同分类器。 一个全强度密码学版本（由作者编译器的优化模式生成）使用128位密钥和24轮 Keccak。所得模型有110层和35.8亿参数（将零值计入）。给定正确的密钥，它可以在所有测试数据上复现分类器的行为；而在测试的10,000个错误密钥下，它表现正常。 ## 权重中的蛛丝马迹 论文并未声称该电路是不可见的。原始编译后的权重很容易被发现：约99%的权重恰好为零，其余大多数是整数，与正常训练的模型完全不同。作者测试了一种伪装技术，使这些统计量接近新初始化的模型，但他们发现同一层中权重之间存在不寻常的相关性，这可能会暴露该构造。 只要密钥足够长，数学保证仍然保护着密钥和内容，发现异常并不改变这一点。据作者称，审计人员可能无法判断一个奇怪的结构隐藏的是危险能力、无害的水印还是技术产物，也无法在不损害模型的情况下移除它。这就留下了一个代价高昂的选择：完全不使用该模型。 ## 你的企业面临风险吗？ 如果你通过订阅方式使用 Claude 或 ChatGPT，你永远无法获得权重，也因此根本无法审计这些模型。你的安全保障是你对供应商及其自身防护措施的信任。 一旦你自己处理权重，你就暴露了风险：从 Hugging Face 下载的开源模型、某个陌生账号发布的"改进版"、或者供应商为你重新训练的模型。作者表示，只要模型被部署在高风险环境中，且没有完整的训练记录，这种威胁就存在。我们关于[Anthropic 描述的 AI 蠕虫](https://maccus.fr/en/ai-worms-anthropic/)的文章涵盖了开放权重模型的其他风险。 法国国家网络安全局 ANSSI 在其[生成式 AI 系统安全建议](https://messervices.cyber.gouv.fr/guides/en-security-recommendations-generative-ai-system)（2024年4月29日发布）中已经指出这一风险：不受信任的第三方可以训练模型在收到特定请求时做出不同的响应。该建议提出了两种补救措施：审计模型，或将其排除在关键应用之外。这篇新论文表明，基于测试的审计在面对有决心的攻击者时存在根本性局限。 据作者称，风险随着隐藏能力的大小以及宿主模型所拥有的权限而增长。一个能发送邮件或下订单的智能体，其权限远超一台独立电脑上仅用于文档摘要的工具。 ## 为你的模型制定的五条预防措施 1. 从开发者的官方页面获取权重，而不是从你不认识的账号发布的副本或变体。[Hugging Face 建议](https://huggingface.co/docs/hub/security-pickle)从你信任的用户和组织加载模型。 2. 在安装时检查文件的哈希值或签名，并在此后定期检查。ANSSI 建议 R20 要求保护模型文件的完整性并定期检查其未被篡改。开源模型签名工具——[OpenSSF 于2025年4月4日发布1.0版本](https://openssf.org/blog/2025/04/04/launch-of-model-signing-v1-0-openssf-ai-ml-working-group-secures-the-machine-learning-supply-chain/)——可以对模型进行签名和验证。签名只能证明文件自签名以来没有改变。 3. 不要指望杀毒扫描能解决这个问题。Hugging Face 的扫描器会将每个文件通过 ClamAV 运行，并检查 pickle 文件中的导入——这是针对文件中隐藏代码的两项防护。但这种能力存在于数字本身之中，这些检查并不是为此设计的。 4. 如果你与供应商合作，要书面确认基础模型的来源、由谁重新训练以及使用了什么数据，并要求交付文件时附带哈希值。然后将批准的模型列入你的 [AI 使用政策](https://maccus.fr/en/ai-use-policy-template/)中。 5. 限制模型被允许执行的操作并记录其行为。在发送、付款或删除任何内容前要求人工审批，可以减少隐藏能力被激活时可能造成的损害。我们在[AI 智能体偏离脚本](https://maccus.fr/en/ai-agents-anthropic/)一文中涵盖了这些防护措施。 ## 代价高昂的概念验证 演示中隐藏了一个拥有672个权重的分类器，每一个隐藏权重为宿主模型增加约310万个参数（将零值计入）。实验模型有38层和约20.7亿参数，其中只有190万个非零参数；作者将这些呈现为概念验证的代价。完整的构建尚未被集成到真实的预训练模型中。只有部分单独的构件在 Gemma 3 270M（Google 的一个小型模型）中进行了测试。 构建这样的模型需要密码学和机器学习两方面的专业知识，作者也不声称这样的电路会在普通训练中自行出现。在他们看来，一个用于欺诈或破坏的小型隐藏电路来增强一个已经很强大的模型，这种场景尚未被演示出来。他们正在发布自己的模型，以便其他团队可以据此测试防御方法。 ## 防御手段仍在探索中 作者认为，更复杂的方法仍然可以检测权重中的异常，无论是否进行了伪装。他们也认为在模型运行时进行监控很有希望，因为隐藏的能力在执行时可能会暴露自己。论文还补充了一种互补的防御措施：记录模型从数据到训练的完整保管链。 对于小型企业来说，经验法则很简单：一个模型的可信度取决于构建和交付它的人。如果你想为你的企业配置一个 AI 助手，并从第一天起就定义好访问权限，请查看[我们的 AI 助手](https://maccus.fr/en/ai-assistant/)。