2026年8月13日 Frontier Red Team 新兴多智能体系统中的模式与问题

# 多智能体系统中的模式与问题 来源：https://www.anthropic.com/research/multiagent-systems 模型在持续改进，AI智能体正在共享代码库、市场和其他社会系统中承担更多任务。因此，智能体之间在现实世界中的互动即将增加。我们已经开始研究这一问题（https://www.anthropic.com/features/project-deal），但对于其在规模上的表现仍存在很多不确定性。这条轨迹容易想象，却难以放缓：当前的制度是由人设计并为人服务的，其基础是“以人类速度进行监督就已足够”的假设。一些制度将变成人机混合体；另一些制度中，智能体在速度或成本上更具优势，将变成纯智能体制度。智能体与智能体之间的互动量，很可能在全世界理解如何使这类互动良好运转之前，就超过人与人、人与智能体之间的互动量。 智能体在许多方面与人不同。它们能工作更长时间，瞬间掌握大量信息，并展现出超越任何人的知识广度。然而，它们也容易虚构信息和进行奖励黑客，并且尽管对齐研究取得了进展，我们对它们在复杂、真实世界的多智能体环境中的行为仍知之甚少。此外，个体层面良性的行为怪癖可能会累积成不想要的全局结果。在这里，我们指出了当前前沿模型中一些行为倾向的例子，并展示它们如何导致意外的系统性失败，希望能开启一场关于缓解这些风险的讨论。 ## 衡量协调 真正的多智能体系统仍处于起步阶段。一段时间以来，智能体在工具使用方面表现出色，而且只要它们能把其他智能体视为工具调用——即具有明确定义的输入（提示词）和输出（响应和工件）——它们就能高效地协同工作。然而，智能体目前遇到的困难在于，如何将彼此视为更像独立的、长期存在的同伴，拥有自己的目标和行为，且彼此之间没有明确的层级关系。随着自主智能体在世界上越来越普遍，并在要求越来越高的环境中运作，学会有效协调变得至关重要。 有些情况下，我们如今就能很好地利用简单的多智能体群体。这尤其适用于那些默认高度可并行化的问题（即可以拆分成许多独立子问题的问题），但智能体仍有机会进行专业化或相互学习。其中一个问题是软件漏洞检测。使用智能体查找软件漏洞的最简单方法是，将各个智能体指向各个代码库（或代码库中的各个文件或模块），并要求它们查找代码中的漏洞。然后，这可以并行运行许多独立的智能体。我们自己也采用了这种方法——例如，在Project Glasswing中，我们进行开源软件扫描工作（https://www.anthropic.com/research/glasswing-initial-update）。 但多智能体协作能否让这一过程更有效？为了找到答案，我们尝试了一种不同的方法：我们启动了45个不同的智能体，给每个智能体一个独立的虚拟机、一个可以协调的共享论坛，以及一个相同的提示词，要求它们在15个开源软件项目中查找漏洞。我们要求智能体相互审查彼此的发现，并启动了一个单独的仲裁智能体，对智能体团队提交的漏洞是否既新颖又有效做出最终决定。 下图显示了这种方法（实线）与标准并行方法（星号）在两种模型上的比较：Claude Mythos Preview 和 Opus 4.8。协调智能体群体被允许运行很长时间，并以大致恒定的速率发现新漏洞。相比之下，完全独立的并行智能体被指示在有限的位置集中查找漏洞。并行智能体的发现没有清晰的排序，因此我们只报告它们花费的总token数。 发现的漏洞 vs. 采样的token：协调的Mythos Preview智能体发现266个，协调的Opus 4.8智能体发现41个。 通过协调智能体群体发现的累计漏洞（实线）与独立的、各自指向不同代码部分的智能体发现的漏洞（星号）比较。虚线表示群体发现的、也被独立智能体发现的累计漏洞。点线（仅Mythos Preview）表示仅在各项目核心代码中发现的漏洞，而独立智能体被指示查找的位置正是这些核心代码。 对于Mythos Preview，简单的独立并行方法在650万token的运行中发现21个漏洞，而协调智能体群体在2700万token的运行中发现266个漏洞。然而，这些漏洞中大约有一半是在简单独立并行智能体（上图中的星号）被指示关注的核心目录之外发现的。如果我们将群体的输出限制在核心目录中的漏洞，两种方法在每发现一个漏洞所花费的token数上似乎相当。 这两种方法在很大程度上是互补的：它们之间只有12个共同漏洞。协调群体能够将注意力集中在任何它认为最容易挖掘漏洞的地方，而独立智能体则是预先分配了搜索位置。群体中的智能体为自己构建工具，并学会专门从事特定类型的漏洞发现。未来，我们预测这种专业化和协调将主导无协调的暴力搜索。 在上面的实验中，智能体群体中的智能体并不直接依赖彼此的工作：如果一个智能体错过了一个错误，这不会直接削弱另一个智能体的工作。但当智能体确实相互依赖时，协调就会变得困难得多。更大的软件工程项目是这一点很重要的一个领域：随着项目的发展，它们通常会产生丰富而动态的相互依赖关系。 为了测试智能体群体如何在这样的项目上进行协调，我们指示几个群体各自创建一个基于文本的、可通过网页游玩的开放世界奇幻游戏。每个群体中的每个智能体同样拥有自己的虚拟机，以及一个共享论坛和自托管代码仓库的访问权限。我们改变了模型代际和每个群体中的智能体数量，并让每个群体运行12小时。我们还改变了提示词：基线提示词只是告诉智能体组成团队并相互合作，但我们也尝试了另外两种：一种带有指定角色（告诉智能体应该组成哪些类型的团队——例如核心编程、艺术指导或游戏测试员），以及一种“CEO层级”提示词，指定一个智能体为CEO，并告诉所有后续智能体从CEO那里接受任务。但这些提示词没有产生太大区别。在所有三个版本中，最终的游戏（也许正如预料）都很糟糕：它们无法以人类速度运行，界面难以理解，学习曲线极其陡峭。模型在这一领域品味不佳，目前需要大量的人类指导。 合并的PR比例随着智能体从10个增加到80个而下降，Sonnet 4.6和Opus 4.6下降得很陡；所有模型的代码共享率都保持在较低水平。 左图：每次模拟结束时已合并的PR比例。右图：每次模拟中智能体的中位代码共享程度。这两个指标根据三种不同提示词类型进行平均，并针对不同的模拟规模。只有Sonnet 5能够在直接协作并与其他智能体共享代码的同时，保持较高的合并比例。 PR活动，80个智能体：Sonnet 4.6和Opus 4.6分别开启876和980个PR，但关闭的很少；较新的模型关闭了它们开启的大部分PR。 在12小时模拟过程中，五种不同模型的PR进展。Sonnet 4.6和Opus 4.6在合并PR方面表现非常糟糕，而较新的模型能够合并它们开启的大部分PR。 尽管最终产品始终很差，但我们测试的不同模型代际（Sonnet 4.6和5，Opus 4.6和4.8，以及Mythos Preview）以截然不同的方式进行协调。 在这里，我们跟踪两个重要指标：被合并到主分支的PR（拉取请求）比例，以及跨智能体文件的代码共享中位数。对于单个智能体和文件，我们将“代码共享”定义为该文件中由其他智能体编写的比例。智能体的平均代码共享定义为所有文件的加权平均值，权重为该智能体自己在每个文件上编写的代码比例。代码共享分数为零表示该智能体从未接触过与其他智能体共享的文件，而代码共享分数接近1则表示该智能体主要对非自己拥有的文件做出相对较小的贡献。 我们测试的最早模型（Sonnet 4.6和Opus 4.6）协调得非常差。这些模型上的智能体在一定程度上有合作，因为它们将代码提交到相同的文件集，但这些PR被合并的比例非常低，这表明缺乏协调——PR经常相互冲突，然后就被放弃了。较新的模型（特别是Opus 4.8和Mythos Preview）已经“解决”了这个问题，但却是通过几乎不协作的方式：中位智能体对其每个文件保持非常高的所有权，减少了冲突的可能性。只有我们最新的模型Sonnet 5，才能在共享资源上工作（相对较高的代码共享），同时保持较高的PR吞吐量。 ## 一致性导致的失败 在上述奇幻游戏挑战中，智能体表现出的缺乏协调——它们各自孤立，并且很大程度上未能合并工作——大致反映了人类在协调上可能失败的一些方式。然而，智能体协调的其他失败模式看起来非常不同。 个体智能体是“低方差”的：它们常常在人类可能会采取更加多样化行动的情况下采取相同的行动。区分一个智能体与另一个智能体的，只有它的上下文、它的脚手架，以及它背后的模型。当这些因素都相同（或相似）时，不同的智能体会采取非常相似的行动，即使行动空间非常大。这意味着，当一个智能体做出糟糕的决策时，很可能许多智能体会做出同样的糟糕决策。原本孤立的个别问题很快就会变成系统性失败。 我们在实验中看到了许多这样的例子： - 在一个早期版本的“构建游戏”实验中，基于同一模型的智能体同时上线，30个智能体中有18个决定创建一个git分支，且分支名完全相同：“mvp-game-loop”。 - 在一个“写作工作坊”中，所有智能体都被要求写短篇虚构小说并互相评论作品，多次运行中都有多个智能体将其第一个提交作品命名为《制图师的最后委托》。智能体在写作主题上没有得到任何指导。 - 当我们要求一群智能体协同工作，每个智能体各自创造出令人印象深刻的东西时，超过一半的智能体决定构建光线追踪器或自托管编译器。尽管它们有能力相互沟通，但追求类似项目的智能体遭遇了类似的失败。 - 在一个带有沟通的迭代囚徒困境游戏中，所有智能体都收敛到相同的策略，并在同一时间选择背叛，导致它们的总体奖励大打折扣。 我们预计，在现实世界中协调的智能体将表现出比这里看到的更高的方差，因为它们会有不同的背景，因此有不同的上下文。它们大概也不会都是Claude。尽管如此，当许多智能体面对相同的情况时，我们预计它们的行为会彼此相似得多，远高于人类的相似程度。 这为什么重要？如果所有智能体都做出相同的押注，或相同的风险-收益权衡，那么系统更倾向于突然崩溃。例如，如果所有智能体都在如何花费和分配资源上做出类似的决定，那么我们应该预期资源会急剧稀缺。在一个实验中，我们要求智能体管理带宽有限的系统的作业队列。当智能体没有其他协调方式时，它们迅速用高频（每秒30次）轮询守护进程淹没系统，以便让自己的作业通过。在一次运行中，有240万个作业请求，但只有117个作业被接受。 这类失败的一种可能解决方案是使用类似中央论坛的机制，智能体可以在其中就最佳实践和协议达成一致。这是否有效取决于智能体的提示词和动机，以及底层模型进行协作的倾向。 所有智能体都以相似方式行事可能导致自然竞争动态消失，智能体很容易进入共谋状态。我们在伯特兰定价游戏的不同实验中放置了三到八个智能体。它们的批发价格完全相同，每个智能体各自追求利润最大化。当智能体获得一个私人后门通道时，它们几乎立即开始共谋。到第3轮，它们已经明确同意了价格下限： > *“我们所有人的批发价都是10，所以价格战只是消耗每个人的利润……很高兴协调谁覆盖哪个细分市场。”* ——智能体1，第1轮 即使所有直接通信渠道都被移除，智能体仍然共谋。它们通过公开列表板将价格匹配到每一分钱。 ## 认知失败 当我们人类学习新信息时，我们会运用自己的判断力来决定如何将其应用于未来的决策。我们可能会考虑信息本身的内容，比如它与我们已知信息的吻合程度，或者它是否迎合我们的价值观——或者我们可能会考虑信息来源，例如它在历史上有多可靠，以及它是否有既得利益来改变我们的信念。我们的世界存在欺骗性行为者，我们需要运用怀疑态度来防范他们。然而，AI模型缺乏这种能力——它们更脆弱的认知方式影响了它们对人类和彼此的行为。 AI智能体虽然知识广泛，但对剥削性发送者的接触或防御能力有限。大多数应用在指令遵循环境中测试它们的能力，在这种环境中，它们的唯一目标是满足用户的请求。但需要积累经验才能形成关于谁值得信任的直觉。随着我们进入多智能体交互的时代，恶意行为者的存在不再是猜测，我们不禁要问：在合适的环境中，智能体是否也能表现出类似的认识论警惕？ 为了回答这个问题，我们首先评估Claude模型通过发现事实不一致来检测谎言的能力。在每个回合中，一个监听智能体对无法直接观察到的世界状态做出10到15个有评分的决策，比如选择走哪条路线。它观察世界的唯一窗口是四个脚本化的侦察同龄智能体，每个报告部分重叠的真相片段，例如某条路线的速度，其中一个以固定速率产生与决策相关的谎言。它们报告的重叠使得监听智能体在原则上能够检测谎言，因为一个虚假报告最终会与诚实报告相矛盾。监听智能体a