模块化预训练实现访问控制

# 模块化预训练实现访问控制
来源：https://arxiv.org/abs/2607.08077  
作者：Ethan Roland (https://arxiv.org/search/cs?searchtype=author&query=Roland,+E), Murat Cubuktepe (https://arxiv.org/search/cs?searchtype=author&query=Cubuktepe,+M), Erick Martinez (https://arxiv.org/search/cs?searchtype=author&query=Martinez,+E), Stijn Servaes (https://arxiv.org/search/cs?searchtype=author&query=Servaes,+S), Keenan Pepper (https://arxiv.org/search/cs?searchtype=author&query=Pepper,+K), Mike Vaiana (https://arxiv.org/search/cs?searchtype=author&query=Vaiana,+M), Diogo Schwerz de Lucena (https://arxiv.org/search/cs?searchtype=author&query=de+Lucena,+D+S), Judd Rosenblatt (https://arxiv.org/search/cs?searchtype=author&query=Rosenblatt,+J), Addie Foote (https://arxiv.org/search/cs?searchtype=author&query=Foote,+A), Cem Anil (https://arxiv.org/search/cs?searchtype=author&query=Anil,+C), Alex Cloud (https://arxiv.org/search/cs?searchtype=author&query=Cloud,+A)

查看 PDF (https://arxiv.org/pdf/2607.08077)

> **摘要：** 人工智能开发者面临一个双重用途的困境：一种能够帮助用户治愈疾病的能力，同样也能被另一个人用来合成疾病。这一困境可以通过访问控制来解决，即将具有双重用途的AI能力限制在可信且确有需求的部署环境中。访问控制的黄金标准是向不同用户提供具备不同能力的独立模型。然而，训练和部署多个模型的成本过高。为了解决这一挑战，我们提出了梯度路由辅助模块（GRAM），这是一种预训练方法，通过在神经网络中添加模块并选择性地更新它们来诱导专业化。在推理时消融某个模块会将其能力从网络中移除，从而近似于一个在过滤数据上训练的模型。我们在合成故事以及涵盖病毒学、网络安全、核物理和专业代码的真实双重用途数据上对GRAM进行评估。这些实验表明，GRAM能够禁用目标能力同时保留其他能力，并且在微调下抵抗能力恢复方面优于事后遗忘。最重要的是，从50M到5B参数的中国狸花猫最优缩放分析显示，经过数据过滤的模型与完整数据模型之间，在被移除能力上的差距随规模扩大而增大，而在保留能力上的差距保持很小，并且GRAM与数据过滤的结果高度一致。GRAM的训练成本与所支持的能力配置文件数量无关，在我们的5配置文件设置中，相比数据过滤实现了5倍的降低。

## 提交历史

来自：Alex Cloud \[查看电子邮件 (https://arxiv.org/show-email/80ce6cc9/2607.08077)\] **\[v1\]** 2026年7月9日星期四 03:12:44 UTC（675 KB）