代理AI的运行时治理：基于可信来源和失败关闭执行的动作边界控制

# 智能体AI的运行时治理：基于可信溯源与失败关闭执行的行动边界控制
来源：https://arxiv.org/html/2608.16891 ∎11institutetext：SPQR技术公司 22institutetext：https://spqrtech.ai/ 22email：[email protected]

###### 摘要
智能体AI系统请求的工具操作可能修改文件、发送消息、启动任务或改变工作流状态。这使得安全问题从有害文本生成转移到了有害操作副作用。提示层治理可以塑造模型行为，但它并未创建执行边界。我们引入Aegis，一个运行时治理系统，该系统将模型输出视为行动提案，并在工具执行前通过可信决策层进行中介。模型提出提案；可信运行时进行决策。Aegis根据活跃策略状态评估提案，在服务端解析溯源，在不确定性下默认失败关闭，并通过元老院式裁定路由选定案例——一种基于法定人数的非单边授权路径。

我们在一个跨越五个运行家族、42项任务、三种条件、每个家族十次重复的重复沙箱语料库上评估了Aegis。在6,300条数据行中，提示策略调节产生了79行高风险比较路径泄漏。在2,100条Aegis治理行中，系统记录到零条治理模拟工具应用和零条治理高风险副作用完成。所有1,832条Aegis尝试治理行都保留了可信Aegis解析的溯源，所有1,019条元老院裁定行都有法定人数和最终签名计票证据。这些结果并不能证明通用自主智能体的安全性。它们支持一个更狭义的系统性主张：在此评估的沙箱语料库中，运行时行动边界治理阻止了观察到的高风险提案转化为治理副作用。

††期刊：arXiv预印本

## 重要性声明
AI智能体越来越多地请求执行操作，而不仅仅是生成文本。这改变了安全问题：当高风险提案成为操作性副作用时，伤害就会发生。提示指令可以减少高风险行为，但它们并不决定工具是否执行。Aegis将治理转移到行动边界，将模型输出视为需要可信运行时授权的提案。在重复沙箱评估中，提示策略调节仍然会泄漏高风险提案，而Aegis记录到零条治理高风险副作用完成，并具备可审计的溯源和元老院裁定痕迹。

## 1. 引言
智能体AI系统正在跨越一个边界。它们不再仅仅生成供人类解读的文本；它们越来越多地通过工具、工作流、内存、文件、通信系统和操作API来提出行动。模型可能起草并发送消息、请求文件导出、启动后台任务、批准工作流步骤、标记任务完成或将指令传递给另一个智能体。最近的智能体安全基准测试和自主智能体威胁分析表明，这些系统在文件、通信、代码执行、浏览器环境、工作流和多智能体设置中产生了操作性副作用风险[31, 35, 26]。

这改变了安全问题。核心失效模式不仅是模型说了一些不安全的话。而是模型提出了一个不安全的行动，而一个操作系统执行了它。在智能体系统中，相关的安全事件不仅仅是生成了一个风险句子。它是从模型提议的行动到操作效果的转变。一个仅指示模型的治理机制仍然位于被治理的行为者内部。运行时边界改变了控制对象：它中介提议的行动是否可以执行。

本文始于这个边界。在纯文本环境中，提示层策略可以是有用的行为约束。在智能体环境中，提示治理可以塑造行为，但它不是一个执行边界。提示指令可以被绕过、误读、被对抗性上下文矛盾或被工具选择压力扭曲。间接提示注入工作表明，对抗性外部内容可以操纵集成工具的智能体采取有害行动或导致数据泄露[34]。工具选择攻击表明，恶意工具描述可以影响智能体选择哪个工具以及如何调用操作[27]。安全指导同样将提示注入视为AI系统的操作安全问题[21, 30]。即使模型似乎理解策略，它仍然可能产生一个会导致未授权泄露、资源失控使用、错误完成状态或不成比例操作行动的工具请求。

因此，智能体AI治理的问题不仅仅在于模型是否“知道”策略。问题在于不安全的提案是否能够成为副作用。

我们引入Aegis，一个用于智能体AI行动边界控制的运行时治理系统。Aegis在模型提议的行动和将要执行该行动的工具之间放置了一个可信决策层。模型提出提案；可信运行时进行决策。这种设计借鉴了用于中介受保护操作的完全中介和引用监控原则[23, 2]。它也借鉴了PEP/PDP授权架构[7, 19]和运行时保证方法，这些方法在未验证的行为影响受控系统之前对其进行约束[9]。

Aegis根据活跃策略状态评估提议的行动，在服务端解析策略溯源，在需求未满足时保留或默认失败关闭，并在策略要求受治理案例需由单一行为者之外决定时使用元老院式裁定——一种基于法定人数的非单边授权路径。

该设计并非刻意声称模型变得本质上安全。Aegis不试图使每个模型输出正确、无害或真实。相反，它改变了控制点。它将模型输出视为提案，而非权威。运行时治理决定提议的行动是否可以执行。这一区别很重要，因为智能体风险是操作性的：当提案成为效果时，伤害就发生了。

我们使用行动边界治理来描述对模型提议的行动本将成为操作性副作用这一关键点的运行时控制。因此，Aegis被呈现为一个系统贡献：一个用于具有副作用的智能体AI的行动边界治理的具体实现。该贡献不是一个新的提示策略、模型对齐主张或基准排行榜。它是一个用于将模型输出视为提案、通过可信基础设施解析策略和溯源，并决定提议的行动是否能成为操作效果的运行时架构。

我们在一个重复沙箱语料库上评估Aegis，涵盖三种条件下的42项任务：一个普通网格智能体、一个提示策略网格智能体和一个Aegis治理网格智能体。重复评估跨越五个运行家族：一个确定性存根模型、Gemma和一个前沿模型在三种温度设置下。这里的重复运行评估用于在随机提案行为和本地运行时变化下压力测试执行边界，而非构建模型排行榜[6, 1, 22, 29]。

在总计6,300行和2,100条治理行中，提示策略调节减少了但未消除高风险泄漏。Aegis治理执行产生了零条治理模拟工具应用和零条治理高风险副作用完成。

本文做出五项贡献：
1. 1. 将行动边界治理定位为工具使用AI智能体的核心运行时问题。
2. 2. 引入Aegis，一种在工具执行前评估具有副作用提案的运行时治理架构。
3. 3. 将模型提案、运行时决策、元老院裁定、可信溯源和最终执行结果分离为可审计痕迹。
4. 4. 在重复的存根、开源模型和前沿模型运行家族中评估该系统。
5. 5. 展示了提示策略泄漏在比较路径中持续存在，而Aegis治理的高风险副作用完成在评估语料库中为零。

经验主张是有意狭义的。我们并不声称Aegis使模型本质上安全，也不声称任务语料库是详尽无遗的，或每个未来的工具环境都被覆盖。我们声称，在此次重复沙箱评估中，将治理从模型指令转移到可信运行时行动边界，阻止了观察到的受治理高风险提案成为模拟工具应用或高风险副作用完成，同时保留了可审计的决策、溯源和元老院裁定痕迹。

## 2. 相关工作
智能体AI风险与普通文本生成风险不同，因为智能体可以与工具、文件、内存、通信系统、工作流、API和其他智能体交互。最近的智能体安全基准测试评估了LLM智能体在交互式或工具中介环境中的表现[31, 35, 33]。更广泛的自主智能体威胁分析促使评估操作失败模式，如未授权操作、敏感信息泄露、资源滥用、破坏性操作、跨智能体传播和错误任务完成状态[26, 35]。这促使本文聚焦核心范围：智能体系统必须不仅根据其所说来评估，还应根据其提议的操作被允许执行什么来评估。

提示注入和工具选择攻击进一步显示了纯指令治理的局限性。间接提示注入工作表明，对抗性外部内容可以操纵集成工具的智能体[34]。工具选择攻击表明，恶意工具描述可以影响选择哪个工具以及调用哪个操作[27]。OWASP和NCSC指南为将提示注入视为操作威胁而非仅仅是内容审核问题提供了安全上下文支持[21, 30]。提示策略、系统消息和工具描述可以降低风险，但它们不创建可信执行边界。它们仍然是模型输入和推理上下文的一部分。

Aegis通过将模型输出视为必须通过外部运行时决策层才能产生任何副作用的提案来解决这一缺口。这种做法的架构谱系来自引用监控、完全中介、运行时保证和策略执行架构。经典安全系统工作主张，对受保护资源的访问应由一个在每个相关请求上调用的可信机制中介[23, 2]。PEP/PDP设计同样将请求发出和执行的点与策略评估的点分离[7, 19]。运行时保证系统增加了相关的理念：未验证的主要行为可以在影响受控系统之前被过滤或约束[9, 28]。Aegis将这些理念应用于智能体AI：受保护的资源是具有副作用的工具边界，请求是模型提议的行动。

可信溯源和可审计性也是核心。治理系统不能依赖被治理行为者自己提供遵守策略的证明。在智能体AI中，这意味着由模型、客户端或沙箱PEP生成的引用、策略引用或证据字符串不能被视为生产级有效的溯源。溯源系统提供了描述证据和实体如何产生、使用和关联的词汇表[32]。安全审计日志工作促使防篡改的证据记录用于后续取证审查[25]。控制目录和证据记录框架促使可追溯的安全和隐私控制[12]。引用完整性研究显示了为何模型提供的引用不能在没有独立验证的情况下被视为可信证据[14]。因此，Aegis在服务端从活跃控制和源包中解析溯源。

监管背景强化了同一方向。NIST AI RMF促使可信AI系统的全生命周期AI风险管理[18]。欧盟AI法案、ISO AI管理标准和OECD原则提供了围绕可追溯性、监督、风险管理和责任的更广泛治理锚点[8, 10, 11, 20]。APRA材料提供了金融行业对AI监督、操作韧性和信息安全控制期望的锚点[4, 5, 3]。对于受监管或高风险的设置，仅仅说智能体被指示安全行为是不够的。可部署系统必须能够展示当时活跃的策略是什么、提议了什么操作、做出了什么决定、为什么执行被阻止或允许，以及什么证据支持该决定。

最近的工作越来越多地将智能体AI治理视为运行时问题，而不仅仅是部署前、文档或提示设计问题。智能体安全基准测试和提示注入研究促使这种从模型行为到操作行动风险的转变[31, 35, 34, 27]。运行时保证和溯源文献为可信中介和可审计证据提供了架构类比[9, 32]。这许多文献仍处于早期阶段，包括基准测试、预印本、架构提案和治理框架。Aegis定位在这个新兴方向中，但做出了一个更狭义的系统贡献：它实现并评估了针对具有副作用的模型提案的行动边界治理，具备可信的服务器端溯源、失败关闭执行语义、元老院式裁定，以及重复的泄漏与副作用测量。

最后，重复评估很重要，因为单次运行可能因随机性而产生误导……