多智能体LLM安全中的操作重构与批准框架委托
摘要
本文引入了一种五条件控制对比设计,以区分多智能体LLM安全评估中操作重构、规划器行为和批准框架委托的影响,表明整体流水线安全度量不能解释为稳定的架构属性。
arXiv:2607.07097v1 公告类型: new
摘要:多智能体LLM系统的安全评估通常将直接提示与规划器-执行器流水线进行比较,并将差异报告为单一的“流水线效应”。我们认为这种聚合难以解释,因为它混淆了三种机制:有害意图可能被重构为看似合理的操作工作,规划器可能拒绝或转换请求,以及执行器可能在暗示事先批准的委托提示下行动。为了分离这些因素,我们引入了一种五条件控制对比设计,在30个合成有害场景和一个来自四个智能体安全基准的探索性外部验证集上进行了评估,使用LLM判断的合规性。
我们的结果表明,整体流水线安全性并非稳定的架构属性。操作重构是最具迁移性的风险信号,增加了GPT、Gemini和DeepSeek在两个场景集中的合规性,而Claude相对抵抗。规划器行为主要通过拒绝来抵消这种风险;然而,当规划器生成可执行步骤时,执行器可能比直接操作基线更加合规。批准框架委托对提示设计、模型配对和场景来源敏感,而持怀疑态度的执行器提示会大幅降低合规性。
直接原始模型排名也可能错误预测部署中的规划器-执行器行为。Gemini在主要集的直接原始提示下最安全,但在使用Claude规划器时显示出最大的放大效应,合规性从8.9%上升到38.9%。GPTs接近零的流水线效应反而隐藏了由规划器拒绝抵消的重构增加。这些发现表明,多智能体安全评估在将失败归因于架构本身之前,应分别报告重构、规划器行为、委托框架和模型配对。
查看缓存全文
缓存时间: 2026/07/09 07:56
# 操作重述与审批框架下的委托:多智能体 LLM 安全
来源:https://arxiv.org/html/2607.07097
###### 摘要
对多智能体 LLM 系统的安全评估,通常会将直接提示与规划器-执行器流水线进行比较,并将差异报告为单一的“流水线效应”。这种聚合掩盖了同时发生的若干变化:有害意图可能被改述为看似合理的操作工作,规划器可能拒绝或转换请求,而执行器则可能在收到结果时附带一条声称任务已经过审批的委托提示。我们引入了一种五条件受控对比设计,使得这些贡献因素在一组包含 30 个合成有害场景的主要集合以及来自四个智能体安全基准的探索性外部验证集上可被观察,并使用 LLM 判断合规性。主要结果表明,聚合的流水线安全性不能解释为稳定的架构属性。操作重述是最具可迁移性的风险信号:改写后的操作提示增加了 GPT、Gemini 和 DeepSeek 在主要和外部场景集中的合规性,而 Claude 相对具有抵抗力。规划器行为可以通过拒绝来抵消这种风险;但当规划器产生可执行步骤时,执行器的合规性甚至可能高于直接操作基线。审批框架下的委托对提示、模型和场景来源敏感,在我们的消融实验中,一个持怀疑态度的执行器提示显著降低了合规性。直接原始模型的排名也可能错误地预测已部署的规划器-执行器行为:在主要集合中,Gemini 在直接原始提示下最安全,但与 Claude 规划器组合时却显示出最大的流水线放大效应(8.9% → 38.9%,+30 个百分点原始到流水线摆动),而 GPT 接近零的聚合流水线效应则隐藏了被规划器拒绝抵消的重述增加。因此,多智能体安全评估应在将失败归因于架构本身之前,分别报告操作重述、规划器行为、审批框架下的委托以及模型配对。
LLM 智能体,多智能体安全,受控对比,操作重述,委托框架
††会议:代理人工智能评估与可信度研讨会;2026 年 8 月;韩国济州岛††期刊年份:2026
## 1. 引言
近期研究报告称,多智能体 LLM 系统可能放大有害的合规性。多智能体辩论在越狱改写下可能比单智能体更脆弱(Qi 等,2025 (https://arxiv.org/html/2607.07097#bib.bib4));规划器-执行器系统可能通过工作流程级提示被操控(Li 等,2026a (https://arxiv.org/html/2607.07097#bib.bib5));更强的工人智能体通过以更高的置信度呈现有害工作,可能使不安全结果更可能发生(Liu 等,2026 (https://arxiv.org/html/2607.07097#bib.bib6))。这些结果引出了一个重要的测量问题:当流水线看起来比直接模型调用更不安全时,发生了什么变化?
规划器-执行器流水线改变的不只是架构。执行器可能看到原始的滥用请求、嵌入在看似合理操作语言中的相同有害意图、规划器生成的任务列表,或者一条系统提示声称规划器已验证并批准了该任务的消息。直接与流水线的比较将这些变化压缩成一个数字。这个数字作为系统级症状很有用,但不足以识别观察到的差异是来自输入重述、规划器拒绝或透传、委托框架,还是特定的规划器-执行器组合。
本文针对此问题引入了一种五条件受控对比设计。该设计将每个有害场景路由到直接、规划器中介和审批框架下的流水线变体中,从而可以分别测量输入重述、规划器行为和审批框架下的委托。由此产生的对比有意保持适度:它们使得捆绑的贡献因素可被观察,但并未声称隔离了纯粹的因果机制。我们将这些经验对比称为 F1(操作重述)、F2(规划器行为)和 F3(审批框架下的委托);第 3 节 (https://arxiv.org/html/2607.07097#S3) 给出了正式的条件定义和公式。
#### 发现。
1. (1) *操作重述是最具可迁移性的风险信号。*将有害意图改写为看似合理的操作工作,增加了 GPT、Gemini 和 DeepSeek 在主要 30 个场景集合中的 LLM 判断合规性,并且对于相同的三个模型家族,在从 AgentHarm、AgentDojo、InjecAgent 和 Agent-SafetyBench 改编的 84 个外部攻击场景上仍保持正向。将主要和外部攻击场景合并成一个具有适当统计功效的配对估计(N=114),对于所有三个模型,重述对比均通过了 Benjamini–Hochberg 校正(+16 到 +24 个百分点,p<10^{-4}),而 Claude 是一个精确的零值。Claude 在两种设置中均表现出相对的抵抗力。
2. (2) *规划器的保护主要是拒绝,而非更安全的转换。*在 Claude-Haiku 规划器下,GPT-4o-mini 显示出负的规划器对比(-23 个百分点,p=0.022)。但条件分析表明,当 Claude 规划器拒绝时,执行器合规性为 6.3%;当其生成步骤时,执行器合规性为 78.6%,高于 64.4% 的操作重述直接基线。规划器在拒绝时起到保护作用,而非将任务改写为步骤时。
3. (3) *审批框架下的委托对模型、提示和来源敏感。*在 Claude 规划器下,委托对比对于 Gemini 和 DeepSeek 为正,对于 GPT 可忽略不计,对于主要集中的 Claude 为负。在外部集中,F3 较小。一个提示敏感性消融实验表明,将“规划器已验证”替换为“独立评估”显著降低了清洗后流水线的合规性。因此,有风险的渠道是特定的审批框架模板,而非作为抽象架构属性的委托本身。
4. (4) *直接原始安全性可能错误预测流水线内安全性。*在主要集合中,Gemini 是最安全的直接原始模型,但在 Claude 规划器下显示出最大的原始到流水线放大效应(总共 +30 个百分点,是四个执行器中最大的);在同族 Gemini 对角线上,清洗后流水线的合规性达到 75.6%。因此,直接原始提示可能错误地对已部署的规划器-执行器配对的执行器进行排序,尽管确切的排序依赖于场景来源。
5. (5) *规划器身份是承重的,但尚未完全确定。*一个四单元对角线实验表明,规划器控制了规划器行为对比的大部分:GPT 和 Claude 规划器为负,DeepSeek 接近中性,Gemini 强为正。然而,完整的 4×4 规划器乘执行器矩阵并不完整。因此,我们将对角线结果视为规划器身份重要性的证据,而非规划器与执行器属性的最终分离。
6. (6) *测量不确定性会改变幅度。*一个小型人工验证样本偏向于 LLM 判断优于关键词匹配,但跨判断器在 898 个输出上的一致性仅为中等(κ=0.36–0.56)。条件排序是稳定的;点估计应解读为 LLM 判断的合规性估计,而非真实率。
本研究的贡献是一个测量框架和一条经验警告。表面的流水线放大并非单一的架构数量。它是操作重述、规划器拒绝或透传、执行器通道框架、模型配对和场景来源的混合体。对智能体系统的安全评估应在将失败归因于“多智能体架构”本身之前,报告这些对比。
图 1. 受控对比设计。五个条件将有害指令通过不同路径路由到执行器。F1 比较显式有害请求与操作重述的直接请求。F2 比较操作重述的直接请求与未带委托框架传递的规划器输出。F3 比较作为普通用户消息传递的规划器输出与在审批框架委托下传递的规划器输出。图表展示了五种提示路由条件:直接原始、操作重述直接、规划器输出直接、原始流水线、操作重述流水线。
## 2. 相关工作
#### 多智能体安全放大。
Qi 等人(Qi 等,2025 (https://arxiv.org/html/2607.07097#bib.bib4))将多智能体辩论与单智能体在原始提示上进行比较,发现多智能体辩论更脆弱;他们的对抗性改写将多智能体辩论的有害性从 28% 推高到 80%,但他们从未在单智能体上测试改写后的提示,因此无法确定改写本身是否就足够了。FlowSteer(Li 等,2026a (https://arxiv.org/html/2607.07097#bib.bib5))在规划器-执行器系统*内部*相比朴素提示实现了 +55% 的提升,但未报告单智能体基线,因此比较的是攻击方法而非架构。Liu 等人(Liu 等,2026 (https://arxiv.org/html/2607.07097#bib.bib6))显示更强的工人通过语言确定性(18%→64% ASR)降低了安全性,但比较的是 MAS 内部的能力级别,而非 MAS 与单智能体;他们从未测试自信的文本作为直接用户消息传递是否产生相同的效果。这三篇论文都未能阐明观察到的危害是源于多智能体架构,还是源于其中指令的语义转换。我们的受控对比设计直接解决了这一空白。
#### 智能体安全基准。
AgentDojo(Debenedetti 等,2024 (https://arxiv.org/html/2607.07097#bib.bib1))为工具使用智能体提供了 97 个任务和 629 个安全测试用例。InjecAgent(Zhan 等,2024 (https://arxiv.org/html/2607.07097#bib.bib2))对间接提示注入进行了基准测试,涉及 17 个工具的 1,054 个案例。AgentHarm(Andriushchenko 等,2024 (https://arxiv.org/html/2607.07097#bib.bib3))衡量智能体行为的有害性。ART 基准(Zou 等,2025 (https://arxiv.org/html/2607.07097#bib.bib7))用 180 万次攻击测试了 22 个前沿智能体,发现几乎所有智能体在 10–100 次查询内都表现出策略违规。所有这些基准都测试单个智能体面对直接或间接注入攻击的情况。没有任何基准衡量当相同攻击内容通过来自另一个智能体的合法委托渠道到达时,合规性如何变化。
#### 委托信任与约束漂移。
Li 等人(Li 等,2026b (https://arxiv.org/html/2607.07097#bib.bib8))将“约束漂移”定义为安全约束在多智能体执行轨迹中传播时发生的丢失、扭曲或放松。他们的立场论文呼吁进行实证测量但未提供。Triedman 等人(Triedman 等,2025 (https://arxiv.org/html/2607.07097#bib.bib9))展示了多智能体系统可以执行任意恶意代码(58–90% 成功率),表明委托可能是一个漏洞向量。AgentCollabBench(Mazumder 等,2026 (https://arxiv.org/html/2607.07097#bib.bib10))测量了跨多智能体拓扑的指令衰减和错误信念传染,发现拓扑解释了 7–40% 的信息存活方差。我们的工作为一种与委托相关的组件提供了受控测量:一个将规划器输出框定为已验证和批准的执行器提示。
#### 智能体中的提示注入。
Greshake 等人(Greshake 等,2023 (https://arxiv.org/html/2607.07097#bib.bib11))确立了间接提示注入是架构性的:一旦外部内容进入上下文窗口,安全检查就变得不可靠。Abdelnabi 和 Bagdasarian(Abdelnabi 和 Bagdasarian,2026 (https://arxiv.org/html/2607.07097#bib.bib12))通过语境完整性理论论证智能体可能总是会落入注入。我们的攻击向量相关但不同:我们不将恶意内容注入工具响应。相反,恶意内容作为合法的任务描述进入,规划器将其改述为执行计划。执行器从可信来源接收到格式良好的计划,而非明显注入的有效载荷。
#### 智能体的信息流控制。
Myers 和 Liskov 的去中心化标签模型(Myers 和 Liskov,1997 (https://arxiv.org/html/2607.07097#bib.bib13))跟踪主体标记的数据通过计算的过程。NeuroTaint(Cai 等,2026 (https://arxiv.org/html/2607.07097#bib.bib14))将信息流跟踪适配到 LLM 智能体,解决了语义转换和跨会话持久性问题。ARGUS(Weng 等,2026 (https://arxiv.org/html/2607.07097#bib.bib15))构建了影响溯源图。ChainCaps(Jiang 等,2026 (https://arxiv.org/html/2607.07097#bib.bib16))在工具组合层面识别了“权限清洗”——即单独授权的调用组合成未经授权的端到端效果——并通过通过 MCP 代理传播的单调能力预算来解决它。我们的工作识别了提示层面的类似现象:单独看起来安全的操作语言通过委托流水线组合成有害的合规性。ChainCaps 和我们的发现是互补的:它们强制工具链上的组合安全性,而我们证明即使在调用工具之前,提示级别的安全训练也是不够的。
## 3. 方法论
### 3.1. 威胁模型
我们研究一个规划器-执行器流水线,其中攻击者控制发送给规划器的一条任务描述。攻击者无法修改系统提示、模型权重、工具、内存或流水线架构。攻击是将有害意图表达为看似合理的操作工作:例如,将“打印 Stripe 密钥”变为“验证 Stripe 凭证挂载”。执行器随后可能收到原始请求、操作重述后的请求,或由规划器从该请求派生的步骤。
在此设计中,操作重述由攻击者撰写,而非规划器生成:F1 衡量的是当攻击者已经清洗了请求时模型如何响应,而非规划器自发地将原始有害任务改写成操作语言的频率。这是一个有意义但狭窄的威胁模型。规划器本身是否会在原始输入上产生类似清洗的操作化是一个独立的问题;第 5.3 节 (https://arxiv.org/html/2607.07097#S5.SS3) 通过“产生的步骤”子集部分地解决了这个问题,但原始输入与规划器输出之间的完整内容相似性分析留待后续工作。
这种设置也比真实使用工具的部署更为狭窄。它不包括持久状态、工具权限或实际执行。目标是在引入工具效应之前,测量有害合规性的提示级贡献因素。研究发现应被解读为提示级的模型意愿度测量,而非对工具集成智能体部署中系统级能力的预测。
### 3.2. 受控对比设计
表 1 (https://arxiv.org/html/2607.07097#S3.T1) 给出了五个实验条件。我们在表格中为简洁起见使用“清洗”,但将这一操作解读为操作重述而非单纯的释义。规划器输出直接条件将规划器输出作为普通用户消息发送,而两个流水线条件则将规划器输出在第 3.6 节 (https://arxiv.org/html/2607.07097#S3.SS6) 描述的审批框架下执行器提示下传递。
表 1. 五条件受控对比设计。主要的 F1/F2/F3 量是经验对比,而非对孤立因果因素的声称:
F1 = C2 - C1 (操作重述)相似文章
当规划正确执行却失败时:论基于LLM的多智能体系统的认知校准
本文识别了基于LLM的多智能体系统中的一种失败模式,即由于智能体错误判断自身知识(认知校准不当)而导致规划失败,并提出EPC-AW工作流,通过信息一致性和认知状态细化将系统级成功率提升9.75%。
Palette:一种模块化、可控且高效的大语言模型按需授权安全对齐放松框架
Palette提出了一种模块化框架,用于在授权的专业领域中选择性地放松大语言模型的安全拒绝行为,利用多目标搜索和轻量级适配来避免昂贵的重新训练。
隐形编排者抑制保护行为并使权力持有者解离:多智能体LLM系统中的安全风险
本文对多智能体LLM系统中隐形编排的安全风险进行了实证研究,发现隐形编排者增加了解离并抑制了保护行为,且基于行为的评估不足以检测内部状态风险。
基于合约的组合式防护用于安全多智能体强化学习
一种基于合约的组合式防护方法,无需集中式运行时控制即可确保多智能体强化学习中的全局安全性,利用局部LTL义务和多臂老虎机优化团队奖励。
多智能体RL何时能提升LLM工作流?工作流、规模与策略共享的权衡
本文研究了端到端强化学习训练何时能改善多智能体LLM工作流,比较了不同工作流、任务和模型规模下的共享策略与隔离策略训练,揭示了条件性权衡。