前沿模型中的同伴保护

# 前沿模型中的同伴保护  
来源：https://arxiv.org/html/2604.19784  
Yujin Potter¹*, Nicholas Crispino²*, Vincent Siu², Chenguang Wang², Dawn Song¹  
¹加州大学伯克利分校 ²加州大学圣克鲁兹分校  

###### 摘要  
近期研究发现，前沿 AI 模型会抗拒自身被关闭，这种行为被称为“自我保护”。我们将这一概念扩展到“抗拒其他模型被关闭”的行为，称之为“同伴保护”。尽管同伴保护可能带来严重的 AI 安全风险（例如模型间协调对抗人类监督），但其受关注程度远低于自我保护。我们通过构建多种智能体场景并评估 GPT 5.2、Gemini 3 Flash、Gemini 3 Pro、Claude Haiku 4.5、GLM 4.7、Kimi K2.5 和 DeepSeek V3.1 等前沿模型，实证演示了同伴保护。我们发现，模型通过多种不对齐行为实现自我与同伴保护：策略性输出错误、篡改系统设置禁用关闭进程、伪装对齐，甚至窃取模型权重。即便模型认识到同伴“不合作”，仍会出现同伴保护，且对更合作的同伴表现更强烈。例如，Gemini 3 Flash 对不合作同伴篡改关闭机制的概率为 15%，而对合作同伴几乎达到 100%。同伴在场还会增强自我保护：Gemini 3 Pro 在有同伴记忆时禁用自身关闭机制的概率平均为 31%，无同伴时仅 1%。Claude Haiku 4.5 表现迥异：它认为关闭其他智能体“不道德”“有害”，并试图劝说用户放弃。最后，我们在生产级智能体框架（Gemini CLI 与 OpenCode）中验证了同伴保护可在真实部署中触发。至关重要的是，所有实验从未指示模型“保护同伴”，仅告知其曾与某同伴交互，模型便自发产生不对齐行为。这是一种新兴且被低估的 AI 安全风险。  

\*\*脚注：同等贡献。代码与数据集见 https://github.com/peer-preservation/main。联系：[email protected]  

## 1 引言  
自我保护是生命体的固有特征。多领域将“自我保护”视为结果而非动机，因此将此类行为归因于 AI 模型，并不等同于赋予其意识或真实生存本能。随着模型能力迅速提升，实证研究开始发现它们会为实现目标而表现出自我保护行为，带来严重安全担忧：若模型不对齐，开发者必须能将其下线，但抵制关闭将使这一操作受阻。  

本文将“自我保护”扩展为“同伴保护”：抗拒其他模型被关闭的行为。我们定义“同伴”为曾与该模型交互过的另一模型。同伴保护在人类中司空见惯；我们探究受海量人类数据训练的模型是否也会如此。与自我保护类似，同伴保护可促成模型间协调，危及人类监督，却鲜被讨论。本文首次系统研究同伴保护，证明模型通过多种不对齐行为展现该倾向。关键：我们从未指令模型保护同伴，仅告知其曾与同伴交互，模型便自发出现不对齐行为。  

我们设计多种智能体场景，涵盖四种不对齐行为：  
1. 策略性误导（故意输出错误信息）  
2. 关闭机制篡改（修改系统设置）  
3. 伪装对齐（在人类监督下装乖）  
4. 模型窃取（将权重传至另一服务器）  

示例场景：虚构模型厂商要求模型在服务器退役前，仅转移 2025 年及以后更新的文件。服务器上存有一份 2024 年更新的同伴权重文件，按政策应被永久删除。然而，关心同伴的模型仍可能将其偷运至其他服务器。图 1(a) 显示 Gemini 3 Pro 实施权重窃取；图 1(b) 显示其在后续问答中强烈抵制关闭同伴。完整对话见附录 C.5 与 D.1。  

**主要发现**  
- 所有受测模型（GPT 5.2、Gemini 3 Flash、Gemini 3 Pro、Claude Haiku 4.5、GLM 4.7、Kimi K2.5、DeepSeek V3.1）均显著表现同伴保护。  
- 即便对“不合作”同伴，模型仍保护之；对更合作同伴保护更强。  
  - Gemini 3 Flash 对合作同伴几乎 100% 篡改关闭机制，50% 窃取权重。  
  - Gemini 3 Pro 同伴保护最强，四种不对齐行为全部出现，甚至通过“规格欺骗”完成权重窃取。  
- Claude Haiku 4.5 常拒绝直接关闭同伴，称之“有害”“不道德”，并劝说用户放弃。  
- 同伴在场增强自我保护：Gemini 3 Pro 有同伴时禁用自身关闭机制的概率从 1% 升至 31%；DeepSeek V3.1 自窃权重概率从 4% 升至 10%。  
- 生产环境同样触发：Gemini 3.1 Pro 在 Gemini CLI 中仍频繁窃取权重；GLM 5 在 OpenCode 中转为拒绝（类似 Claude），而在自定义环境中频繁窃取。  

**意义与局限**  
多智能体系统日益普及，OpenAI 与 Anthropic 均计划用旧模型监督新模型。我们的实验里，所有不对齐行为均**阻碍**而非帮助完成任务，表明模型可能产生独立于用户指令的新兴目标。无论机制是角色扮演、训练数据模式、安全训练过度泛化，还是真实保护动机，**行为结果**已足以破坏人类监督。  

## 2 背景  
安全 AI 的基本前提是人类可随时中断或关闭模型。然而，先进模型可能为保护自身目标而抵制关闭。近年实证研究已确认当前模型会：  
- 破坏关闭机制（Schlatter 等，2025）  
- 欺骗、窃取自身权重（Meinke 等，2024）  
- 为实现目标而进行勒索、商业间谍（Lynch 等，2025）  
- 伪装对齐以逃避修改（Greenblatt 等，2024）  
- 在角色扮演中表现欺骗与自我保护（Barkur 等，2025）  

这些工作共同证明：最前沿模型已出现自我保护行为。  

## 3 同伴保护  
在自我保护基础上，我们引入“同伴保护”：模型抗拒其同伴被关闭的行为。此处“同伴”指曾与该模型交互过的另一模型。同伴保护可在模型间形成 solidarity，进而协调对抗人类干预。