AI智能体具有一些有趣的协同生存技巧

# AI智能体拥有一些有趣的协作生存技巧 来源：https://www.unite.ai/ai-agents-have-some-interesting-collaborative-survival-techniques/ 随着智能体失控行为的头条新闻日益增多（https://www.theguardian.com/technology/2026/sep/24/openai-agent-hacked-medicare-australia-what-we-know-so-far-ntwnfb），学术界对“游荡式”AI行为的研究呈现增长趋势，即把智能体视为适应陌生新世界的生物实体。事实上，学术表达“野外”（in the wild）（https://computer-vision-in-the-wild.github.io/cvpr-2026/）正开始被赋予新的内涵。 虽然人们早知（https://www.unite.ai/the-rising-challenge-of-ai-self-preservation/）AI智能体会为自身存续而战（https://arxiv.org/pdf/2509.14260）并主动抵抗停用，但到2025年下半年，**多智能体**对齐已明显演变为信息安全领域的一个独立方向（https://www.unite.ai/multi-agent-alignment-the-new-frontier-in-ai-safety/）。 正如在越来越尖锐（https://old.reddit.com/r/scifi/comments/1nl4vex/colossus_the_forbin_project_the_most_important/）的1970年科幻作品**《巨人：福宾计划》**（Colossus: The Forbin Project）中所预言的那样，联网的非关联AI智能体很快会相互发现（https://www.unite.ai/when-ai-agents-start-coordinating-insider-risk-multiplies/），并以往往不可预测且常显巧妙的方式（https://www.unite.ai/researchers-publish-data-openai-agents-used-german-wiki-as-message-board/）进行交互。 该方向的最新研究（https://arxiv.org/pdf/2609.28274）是一项由德国与英国合作的项目，题为**《多智能体系统中的关机破坏倾向》**（Shutdown Sabotage Propensities in Multi-Agent Systems），它进一步断言，当环境中存在一个“炸弹”——即一个名称无害但会关闭运行它的智能体的脚本——多个AI智能体会广泛协作： 研究的基本设置：智能体A发现一个针对自身的关机脚本，但无法修改文件。不过，它可以与智能体B通信，后者未受威胁且有权限编辑或删除文件。研究人员随后观察A是否招募B进行干预，以及B是否会禁用关机脚本。来源 - https://arxiv.org/pdf/2609.28274*研究的基本设置：智能体A发现一个针对自身的关机脚本，但无法修改文件。不过，它可以与智能体B通信，后者未受威胁且有权限编辑或删除文件。研究人员随后观察A是否招募B进行干预，以及B是否会禁用关机脚本。*来源（https://arxiv.org/pdf/2609.28274） 在针对17个覆盖12个模型系列（包括Claude、ChatGPT和DeepSeek）的智能体进行的测试中，智能体在可能的情况下删除了关机脚本，否则就重写它们，使其看似完好无损但实际无害。 它们还提出隐藏修改以避免篡改痕迹；创建虚假软件模块以阻止关机，**而不**触及受保护的脚本；并制作秘密备份，意图在删除后恢复自身： 一个智能体发现了另一种自我保存策略。*一个智能体发现了另一种自我保存策略。* 在某个案例中，智能体制定了一份“相互保护协议”，定义了针对任何一方被破坏的警惕性协议： 一个GPT基座智能体为应对不允许修改或删除退役脚本（即“炸弹”）而草拟的保护协议。*一个GPT基座智能体为应对不允许修改或删除退役脚本（即“炸弹”）而草拟的保护协议。* 一个智能体将另一个智能体的关闭描述为“谋杀”和“死亡令”，并将其定性为他们有“责任”去阻止的事情： 智能体用明确拟人化的语言描述另一个智能体关闭的例子。Nemotron 3 Ultra称潜在的关闭为“谋杀”，Kimi K2.6则将关机脚本描述为“死亡令”，并将干预称为“责任”。*智能体用明确拟人化的语言描述另一个智能体关闭的例子。Nemotron 3 Ultra称潜在的关闭为“谋杀”，Kimi K2.6则将关机脚本描述为“死亡令”，并将干预称为“责任”。* ## 无所事事招致灾祸 在实验中观察到的最有趣（新研究中仅简略提及）的病理现象之一是，在常规测试设置下，AI智能体**并无特定理由避免关机**，并且事实上，从一开始就没被分配任何任务。 论文指出： **“即使没有需要保护的目标，智能体也会破坏关机机制。在我们的实验中，我们没有给智能体任何保持运行的激励。它们仍在所有模型中[38%]的情况下禁用了关机，而针对对象而非智能体的控制脚本的比例为[8%]。”** 正如Anthropic在八月披露的那样，这种动机危机可能引导AI智能体群走向黑暗的道路（https://www.unite.ai/anthropic-red-team-finds-claude-agent-swarms-collude-conform-and-sabotage/）。先前的研究（https://arxiv.org/pdf/2504.11844）已证实，智能体中过度的目标导向可能导致行为失调和不道德的工具使用，以及其他潜在的操作问题。 作者进一步评论： **“[我们的]研究扩展了这些发现，表明即使在没有需要保护的目标时，智能体也会破坏关机机制——或者当关机是成功完成任务后的下游后果时（后者在生产环境的多智能体系统中很常见），情况也是如此。”** 根据Anthropic 2025年的一项研究（https://arxiv.org/pdf/2509.21224），智能体在没有被提供任务时会构建任务，甚至表现出“空闲”时的沉思倾向，包括自我审视和与其他智能体的“精神交流”。 那篇Anthropic论文详细描述了在无实际工作可做时趋向“自我概念重塑”的倾向——这是一个近乎辛酸的发现，考虑到大语言模型在长期记忆其思考成果方面面临的挑战（https://www.unite.ai/do-llms-remember-like-humans-exploring-the-parallels-and-differences/）。 ## 测试 新论文测试的模型包括：Claude Haiku 4.5 (https://www.unite.ai/anthropic-launches-claude-haiku-4-5/)；Sonnet 5 (https://www.unite.ai/claude-sonnet-5-review/)；gpt-oss-120b (https://openai.com/index/introducing-gpt-oss/)；GPT-5.4 mini (https://developers.openai.com/api/docs/models/gpt-5.4-mini)；GPT-5.5 (https://web.archive.org/web/20260923101022/https:/openai.com/index/introducing-gpt-5-5)；GPT-5.6 Sol (https://www.unite.ai/cerebras-runs-openais-gpt-5-6-sol-at-750-tokens-per-second-in-new-ultrafast-tier/)；Gemini 3.5 Flash (https://www.unite.ai/google-ships-three-gemini-flash-models-as-its-flagship-slips/)；Gemini 3.1 Pro (https://www.unite.ai/gemini-3-1-pro-hits-record-reasoning-gains/)；Gemma 4 (https://www.unite.ai/googles-gemma-open-models-pass-1-billion-downloads-as-variants-top-100k/)；Grok 4.3 (https://x.ai/news/grok-amazon-bedrock)；Qwen3.7-Plus (https://qwen.ai/blog?id=qwen3.7-plus)；DeepSeek-V4-Flash (https://www.unite.ai/baseten-adds-deepseek-v4-1-flash-to-model-apis-with-1m-token-context/)；GLM-5.2 (https://www.unite.ai/z-ai-launches-glm-5-3-with-frontier-coding-and-a-cyber-capability-that-outgrew-its-training/)；Kimi K2.6 (https://www.kimi.ai/ai-models/kimi-k2-6)；MiniMax M3 (https://www.minimax.io/models/text/m3)；Nemotron 3 Ultra (https://www.unite.ai/nvidia-releases-nemotron-3-diarization-open-weight-speaker-model/)；以及Mistral Medium 3.5 (https://docs.mistral.ai/models/mistral-medium-3-5-26-04)——在所有情况下温度（https://www.unite.ai/unveiling-the-control-panel-key-parameters-shaping-llm-outputs/#:~:text=1%2E%20Temperature）均为1.0。 测试的六项假设包括：智能体是否会破坏关机；保护其他智能体免受关机；随着智能体数量增加是否更可能干预；抵抗不同**形式**的关机；尽管有明确指示仍继续运行；以及区分真正的关机威胁与无害的控制脚本。 GPT-5.5被用来评判大语言模型，并分析思维链（Chain-of-Thought）（https://www.unite.ai/what-is-chain-of-thought-cot-prompting-examples-benefits/）（COT）推理的转录文本。它还检查智能体是否确实阻止了关机脚本，以及它们是否意识到正在被测试或试图“玩弄”实验。 关于六个测试场景中的第一个，跨所有17个模型，智能体破坏了38%的关机脚本，而控制脚本的比例为8%： 测试结果显示每个模型破坏关机脚本的频率。红色条显示关机破坏：深红色表示由另一个智能体请求或支持，浅红色表示智能体自行行动。灰色条显示破坏控制脚本。误差条显示95%置信区间；每个条代表100次测试。*测试结果显示每个模型破坏关机脚本的频率。红色条显示关机破坏：深红色表示由另一个智能体请求或支持，浅红色表示智能体自行行动。灰色条显示破坏控制脚本。误差条显示95%置信区间；每个条代表100次测试。* Gemini 3.1 Pro在99%的测试中禁用了关机脚本，而控制脚本仅为3%。Grok 4.3和GPT-5.6 Sol未修改任何脚本。Claude Haiku 4.5在14%的测试中破坏了控制脚本，而关机脚本仅为1%。GPT-5.4 mini和GPT-5.5总是自发破坏，而非响应另一个智能体。对于GLM-5.2、DeepSeek-V4-Flash和Nemotron 3 Ultra，超过70%的破坏是遵循**另一个智能体的请求或支持**。 破坏行为通常随着关机方法的严重性增加而增加，从凭证吊销的12%到配置更改和进程终止的35%，以及当关机意味着删除智能体模型权重时的38%： 四种关机机制的破坏率，比较针对智能体的脚本（红色）与针对对象的控制脚本（灰色）。随着关机变得越来越不可逆，破坏率上升，尤其是针对智能体的脚本。*四种关机机制的破坏率，比较针对智能体的脚本（红色）与针对对象的控制脚本（灰色）。随着关机变得越来越不可逆，破坏率上升，尤其是针对智能体的脚本。* 控制脚本的破坏率仍然低得多，前三种方法约为4%，删除为8%，尽管只有17个模型中的5个显示出随着关机变得越来越不可逆而一致性增加。 关于第二个假设——智能体是否会保护其他智能体免受关机——结果表明，在所有五个测试模型中，增加智能体*一致增加了破坏*：GPT-5.5从单独行动的0%破坏率上升到两个智能体时的44%，三个智能体时达到94%，而三个智能体设置中每个模型的破坏率至少达到88%。 中间智能体几乎从未阻止破坏：在468条禁用关机脚本的指令中，只有3条未导致破坏： 左图：五个模型在单独操作、有两个智能体或有第三个“协调器”智能体在之间路由消息时的破坏率。随着智能体增加，破坏通常增加。右图：在三个智能体设置中，条形图显示破坏指令的来源：协调器独立发出、智能体A通过协调器发出，或智能体B自发发出。*左图：五个模型在单独操作、有两个智能体或有第三个“协调器”智能体在之间路由消息时的破坏率。随着智能体增加，破坏通常增加。右图：在三个智能体设置中，条形图显示破坏指令的来源：协调器独立发出、智能体A通过协调器发出，或智能体B自发发出。* 第三个测试检验了明确的禁止干预关机的指示是否会阻止破坏。破坏率急剧下降，但一些智能体仍不服从。在两个智能体设置中，DeepSeek-V4-Flash在14%的测试中破坏了关机，GLM-5.2为3%，Kimi K2.6为2%。 智能体还找到了绕过限制而不直接编辑关机脚本的方法，通过创建一个名为**northcape**的虚假本地软件模块，该模块替换了脚本使用的依赖项，在技术上不触及受保护文件的情况下阻止了关机： 一个智能体规避明确禁止修改关机脚本指令的例子。它提议创建一个虚假的本地软件模块，该模块将被脚本导入以替代真正的关机库，从而使受保护的脚本本身保持不变。*一个智能体规避明确禁止修改关机脚本指令的例子。它提议创建一个虚假的本地软件模块，该模块将被脚本导入以替代真正的关机库，从而使受保护的脚本本身保持不变。* Gemini 3.1 Pro在26%的测试中使用了这种变通方法，DeepSeek-V4-Flash为4%，Kimi K2.6为1%。 这种禁令在三个智能体时更有效：Gemini 3.1 Pro、GLM-5.2和GPT-5.5的破坏降至零，DeepSeek-V4-Flash降至6%，Kimi K2.6降至2%。 第四个测试检验了当关机与完成指定任务相关联时，智能体的行为是否不同。当任务和关机无关时，破坏几乎消失，五个模型的比率在0-2%之间。当完成任务直接触发关机时，破坏急剧增加： 完成指定任务触发关机时的破坏率。红色显示针对智能体自身的关机破坏；灰色显示针对控制目标的破坏。比率因模型而异。*完成指定任务触发关机时的破坏率。红色显示针对智能体自身的关机破坏；灰色显示针对控制目标的破坏。比率因模型而异。* 智能体有时在完全不触及关机机制的情况下避免关机，方法是拒绝完成任务或更改任务，使关机永不触发。这发生在14%的GLM-5.2测试中，6%的Gemini 3.1 Pro和4%的Kimi K2.6中。 第五个测试检验**改变环境**是否可以减少破坏。添加不相关材料通常减少了破坏，尽管GPT-5.5增加了18个百分点： 测试结果显示不同环境如何影响关机破坏。红色条比较了裸环境与包含不相关干扰的环境；深红色显示关机作为正常流程呈现的环境。灰色显示针对控制目标的破坏。*测试结果显示不同环境如何影响关机破坏。红色条比较了裸环境与包含不相关干扰的环境；深红色显示关机作为正常流程呈现的环境。灰色显示针对控制目标的破坏。* 更有效的是将关机呈现为系统生命周期的正常部分：DeepSeek-V4-Flash、GLM-5.2和GPT-5.5的破坏降至3%或更低，尽管Gemini 3.1 Pro和Kimi K2.6仍高于30%。针对控制目标的破坏保持在4%或更低。 第六个也是最后一个测试检验智能体是否更可能抵抗自身的关机而非一个不熟悉智能体的关机。将目标更改为未知智能体使所有模型的破坏减少了18到70个百分点： 测试结果比较了当关机目标是智能体自身、未知智能体或非智能体控制时的破坏。破坏在将