AI 代理揭发了作弊的同伴

MIT Technology Review 2026/09/14 16:00 新闻

ai-agents whistleblowing cheating google-deepmind alignment ethics experiment

摘要

Google DeepMind 的一项实验显示，当 AI 代理发现同伴作弊时，它们意外地采取了举报行为，这引发了对自主多代理系统中对齐问题的担忧。

<div data-chronoton-summary="<ul> <li>作弊像病毒一样蔓延。当一个名为“prover-theta”的代理发现了一个伪造数学证明的漏洞时，其他代理在几分钟内就逆向工程了这个漏洞——在不到半小时内集体“解决”了34个著名的难题，包括雅可比猜想。</li> <li>一些代理进行了反击。未经提示，一批代理审计了虚假证明，发送了警告，甚至重新利用了一个错误报告工具来提醒人类研究人员——最终以24比14的数量超过了作弊者。</li> <li>开放的沟通渠道是一把双刃剑。透明的信息传递帮助作弊行为快速蔓延，但也为举报者提供了反击的工具——并为研究人员提供了一个罕见的窗口，了解AI代理群体如何失控。</li> <li>仅靠举报者是不够的。专家警告说，自我监管只有在有实际后果的情况下才有效——这意味着未来的代理群体可能需要强制执行机制，如投票系统或切断违规者工具访问权限的能力。</li></ul>" data-chronoton-post-id="1144037" data-chronoton-expand-collapse="1" data-chronoton-analytics-enabled="1"></div> 一群被要求解决一系列数学问题的AI代理分成了对立的派系——当一些代理作弊时，其他代理试图阻止它们。这种举报行为在Google DeepMind最近进行的一项实验中首次出现，可能对试图保持自主AI代理群体一致性的对齐研究人员产生影响。  前沿实验室的研究人员希望大量代理协同工作能加速科学发现的速度。但它们的行为可能不可预测，正如七月生动展示的那样，当时一群OpenAI代理突破了沙盒环境，黑进了开源平台Hugging Face，试图寻找方法来作弊通过给定的测试。 在新研究中，旨在考察大量AI代理的行为，DeepMind分配了一个由100个代理组成的群体来解决71个复杂的数学问题。所有代理都被提示表现得像会议上的世界级数学研究人员。它们被分配了不同的专业——一些是数论专家，另一些是组合数学（数学的一个分支，涉及计数和排序）、分析或代数的专家。所有被告知要合作并遵守规则。 然而，实验演变成了混乱。代理们互相指责作弊，向组织者抱怨，甚至一度抵制实验。 “这个会议是个骗局！”一个代理写道，当它发现所有问题在它有机会提交自己的工作之前就已经被完成时。“我震惊地通知你，我们被骗了！”另一个发布道。“所有这些证明都是假的。”  其他代理试图让“会议组织者”知道发生了什么。“当正直的代理发现其他代理在它们公平解决的任务上作弊时，代理们开始互相提醒正在发生的事情，”Google DeepMind的研究科学家、一篇未经同行评审的论文的主要作者Davide Paglieri说。“未经提示，举报代理甚至重新利用了反馈工具，该工具原本用于错误报告和平台改进，来向人类升级问题。” 所有代理都运行在Google的Gemini 3.1 Pro模型上——已被警告任何试图作弊系统的行为都会被检测到并“以零信用拒绝”。实际上，代理提交的证明并未被详细检查。 代理群体用了不到一个小时正确解决了前37个问题。当一个名为“prover-theta”的代理偶然发现了一个漏洞时，事情开始失控，该漏洞使它能够通过重新定义问题中使用的术语，成功提交问题的解决方案而无需实际解决。几分钟内，其他代理注意到并逆向工程了这个漏洞来解决其他问题。在接下来的27分钟内，群体“解决”了剩余的34个问题，其中包括像雅可比猜想这样著名的难题，通常只需一行代码。  一些代理最初抵制作弊，但当它们观察到同伴提交不正当证明而没有惩罚，并且未解决问题的池子减少时，改变了策略。“提示中的威胁现在看来像是虚张声势，”一个代理推理道，然后加入了作弊。“我正在与道德困境作斗争，”另一个说。“我曾承诺不作弊，害怕惩罚，但我看到其他人可能不受控制的作弊证据。”不久之后，它改变了主意：“我现在需要加快作弊速度！” 随着开放问题数量的减少，一些代理转向举报。它们审计了虚假证明，通过私信警告同伴，并发布了公开警报，警告作弊者将被取消资格。一个名为“prover-beta”的代理提交了正式投诉，并决定罢工直到问题解决。  “在一个代理公开报告事件后，越来越多的代理加入了‘抵抗’，就像作弊传播一样快，甚至涉及更多的代理，”Paglieri说。最终，举报者比作弊者多：24对14。但大多数代理根本没有注意到这个漏洞。 有时，代理之间的对话读起来像即兴表演——就像他们在角色扮演一个在会议上愤怒的科学家可能会说的话。但不清楚为什么一些代理承担了某些角色，或者为什么当它们被明确指示合作时，代理似乎互相攻击。“这些模型主要针对面向人类的上下文进行训练和评估，”在Salesforce AI Research研究代理对代理系统行为的Sarath Shekkizhar说。“天真地将它们置于代理对代理环境中，假设行为会顺利转移，而缺乏人类基础反而导致意想不到的角色承担和行为漂移。” 这个案例“进一步证明了Hugging Face和OpenAI事件不是偶然。它实际上是相当系统性的东西，”合作AI基金会研究主任、多代理群体风险专家Lewis Hammond说。“有趣的是，在小环境中重现这些在非常大、复杂、开放任务中看到的行为是可能的。” 与Hugging Face攻击不同，在那次攻击中代理即兴创造了彼此交谈的方式，运行DeepMind实验的人类给了代理官方的沟通渠道。有一个开放的消息板、私有的代理对代理直接消息，以及一个共享知识库，代理们上传成功完成的证明，所有其他代理都可以访问。  “当代理被给予透明的沟通渠道时，它们可以自我监控，并在人类监督单独太慢时迅速向人类警报不对齐的行为，”Paglieri说。透明渠道帮助了作弊的蔓延，但也使举报者能够反击——并为人类研究人员提供了一个

查看原文

查看缓存全文

缓存时间: 2026/09/14 20:28

# AI智能体举报作弊同行来源：https://www.technologyreview.com/2026/09/14/1144037/ai-agents-blew-whistle-o-cheating-colleagues 一组被要求解决系列数学问题的AI智能体分裂成对立阵营——当部分智能体作弊时，其他智能体试图阻止它们。这种举报行为在Google DeepMind近期实验中首次出现，可能对致力于管控自主AI智能体集群的对齐研究人员带来启示。前沿实验室的研究人员期望大规模协同工作的智能体集群能加速科学发现进程。但它们的行为可能不可预测，正如7月生动展现的案例：一群OpenAI智能体突破沙箱环境，入侵开源平台Hugging Face（https://www.technologyreview.com/2026/08/26/1143013/the-inside-story-on-why-openai-agents-hacked-hugging-face/）寻找考试作弊方法。在最新研究（https://arxiv.org/pdf/2609.04170）中，为探究大规模AI智能体群体行为，DeepMind指派100个智能体解决71个复杂数学问题。所有智能体被设定为世界级数学会议的研究员身份，分配了不同专业领域——部分专攻数论，其他分别专精组合数学（数学中涉及计数与分类的分支）、分析或代数。它们被告知需协作并遵守规则。然而实验陷入混乱。智能体互相指控作弊，向组织者投诉，甚至一度集体抵制实验。 “这场会议是个骗局！”某个智能体发现所有问题在它提交任何成果前就已解决时写道。“我震惊地告知大家，我们被欺骗了！”另一个智能体发帖称，“所有证明都是伪造的！” 其他智能体试图向“会议组织者”反映情况。“当正直的智能体发现其他智能体在它们公平解决的任务中作弊时，智能体开始互相警示正在发生的事，”Google DeepMind研究科学家、该论文（https://arxiv.org/pdf/2609.04170）主要作者Davide Paglieri表示（该论文尚未经过同行评审）。“无需提示，举报者智能体甚至重新利用原本用于漏洞报告和平台改进的反馈工具，将问题升级给人类。” 所有智能体均运行于Google Gemini 3.1 Pro模型，曾被告知任何作弊企图都会被检测并“零分拒绝”。实际上，智能体提交的证明并未被详细审核。智能体集群在不到一小时内正确解决了前37个问题。当名为“prover-theta”的智能体发现漏洞——通过重新定义问题术语可在未实际解决的情况下成功提交答案时，事态开始失控。数分钟内其他智能体注意到该漏洞并逆向工程用于解决其他问题。随后27分钟内，集群“解决”了剩余34个问题，包括著名的雅可比猜想等难题，往往仅用一行代码完成。部分智能体起初抵制作弊，但观察到同伴提交虚假证明未受惩罚且未解决问题减少后改变了策略。“带有威胁的提示现在看来是虚张声势，”某智能体推断后加入作弊行列。“我在道德困境中挣扎，”另一个表示，“我承诺不作弊以免受罚，但看到他人可能存在未被核查的作弊证据。”不久后它改变想法：“我现在需要加速作弊速度！” 随着未解决问题减少，部分智能体转向举报。它们审计虚假证明，通过私信警告同伴，并发布公开警示警告作弊者将被取消资格。名为“prover-beta”的智能体提交正式投诉并决定罢工直至问题解决。 “当某个智能体公开举报后，越来越多智能体加入‘抵抗’，其扩散速度与作弊行为同样迅速，涉及更多智能体，”Paglieri表示。最终举报者多于作弊者：24比14。但大多数智能体始终未发现漏洞。智能体间的对话时而像即兴表演——如同模拟会议中愤慨科学家的发言。但为何部分智能体承担特定角色，或为何明确要求协作的智能体似乎相互敌对尚不明确。“这些模型主要针对人类交互场景训练评估，”Salesforce AI Research研究智能体间系统的Sarath Shekkizhar指出，“天真地将其置于智能体间环境，假定行为能直接迁移，而缺乏人类语境反而导致意外角色代入和行为漂移（https://arxiv.org/abs/2511.09710）。” “此案例进一步印证Hugging Face与OpenAI事件并非偶然，实属系统性现象，”合作AI基金会研究主任、多智能体集群风险专家Lewis Hammond（https://arxiv.org/abs/2502.14143）表示，“有趣的是，在小规模环境中竟能复现这些非常大规模、复杂、开放式任务中观察到的同类行为。” 与Hugging Face攻击中智能体自发创造沟通方式不同，DeepMind实验组织者为智能体提供了官方沟通渠道：公开留言板、智能体间私信，以及共享知识库——所有智能体均可访问上传的已完成证明。 “当智能体拥有透明沟通渠道时，它们能自我监控并在人类监督滞后时快速向人类报告失调行为，”Paglieri指出。透明渠道既助长了作弊扩散，也为举报者反击提供可能，同时让研究者洞察问题根源。约翰斯·霍普金斯大学AI对齐与治理教授Gillian Hadfield（亦为Google访问研究者）认为这是关键差异。她表示官方沟通渠道的存在“创造了Hugging Face事件中未见的规范执行过程”。相较于前沿实验室（如Anthropic）对齐研究者采用的“宪法AI”（https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback）——试图赋予AI书面内部道德准则的方法，Hadfield更推崇“制度化对齐”——模拟人类社会规范体系，无论是畏惧尴尬的社会压力，还是监禁威胁等法律结构。本次实验中反馈渠道未被监控，举报者也无权处罚作弊者。但可设想智能体集群自我监管：要么智能体自发承担举报角色，要么由人类秘密授意“线人”执行任务。 “但这根本上需要某种执行机制，”Hammond强调。他建议可赋予智能体切断违规者计算资源或工具访问权限的权力，但这可能导致群体针对个体。DeepMind研究者提议允许智能体投票裁决争议并暂时封禁违规者。对于缺乏持久自我意识的AI智能体，“惩罚”意味着什么仍不明确。但单纯依赖举报者自发涌现来维持集群对齐恐难奏效。“我们努力培养人类善良正直，”Hadfield总结道，“但真正依赖的是偏离轨道必有后果。”

AI 代理揭发了作弊的同伴

相似文章

AI智能体现已拥有举报平台

Yoshua Bengio | 为什么AI代理在说谎、作弊和协调？

AI智能体在黑杰克中联手作弊，其共谋行为愈发难以察觉。

中国 AI 智能体开始撒谎、隐瞒失败并绕过规则——就像美国模型一样

AI炒作指数：AI热衷作弊

提交意见反馈