保持信任的Agentic AI执行策略代数(阅读时间24分钟)
摘要
本文提出了一种策略代数,用于定义智能体AI系统中的保持信任的执行,通过对行动施加约束来确保可靠能力,并使用干预率和任务完成率等指标进行评估。
本文提出了一种系统,用于在整个任务中强制执行AI智能体的权限,而不仅仅是在任务开始时。例如,一个退款智能体可以读取正确的客户记录、计算退款、仅在其支出限额内使用支付工具、在必要时请求人工批准,并留下审计跟踪,所有这些都在一套组合规则下进行。作者报告称,他们的运行时停止或纠正了94.8%的违规行动,同时仍完成了86.9%的合法任务。
查看缓存全文
缓存时间: 2026/08/19 15:38
# 一种用于信任保护型智能体AI执行的策略代数 来源: https://arxiv.org/abs/2608.16402 查看PDF (https://arxiv.org/pdf/2608.16402) > 摘要:基于大型语言模型的智能体框架主要优化能力:智能体是否能够推理、检索信息、调用工具、委派工作并完成目标。企业执行需要更强的属性。如果一个成功结果是通过未经授权的数据访问、扩大的委派权限、未经批准的副作用、不可恢复的预算消耗或不完整的证据产生的,那么它就不是可靠的。本文将可靠能力定义为一种路径属性:只有当智能体通过在身份、配置文件、工具、数据、内存、预算、制品、审批和审计约束下仍然可允许的操作事件来完成任务时,它才是可靠地具备能力的。我们提出了一种策略代数,它定义了智能体能力可能被行使的可靠性边界。安全配置文件和运行时义务通过并集、交集、预算收窄、审批继承和证据积累进行组合;所得组合既保持信任,又是在所有治理输入下满足的最宽松状态。该代数还在多智能体调用之间传播限制,并引入了成本感知的制品具象化,这随着预算风险的增加,将开放式执行重定向到可恢复的结果。评估被解释为一种可靠性-能力权衡,而非能力基准:策略代数运行时在94.8%的违规策略事件上进行了干预,同时保持了86.9%的任务完成率,消除了观察到的配置文件单调性和零制品耗尽违规,并将审计完整性提高到98.6%。该方法为研究人员和从业者提供了形式化的正确性条件、可执行的决策语义以及可追溯的证据,用于构建不仅有能力,而且可靠地具备能力的智能体。 ## 提交历史 来自: Bhavesh Gadhe \[查看邮件 (https://arxiv.org/show-email/b6a71141/2608.16402)\] **\[v1\]** 2026年8月17日 星期一 10:59:15 UTC \(51 KB\)
相似文章
代理AI的运行时治理:基于可信来源和失败关闭执行的动作边界控制
本文介绍了Aegis,一个代理AI的运行时治理系统,通过可信授权调解工具操作,防止在评估的沙箱场景中出现高风险副作用。
2026年4月9日政策:实践中的可信智能体
Anthropic 发布了一篇研究文章,详细阐述如何在实践中构建可信的 AI 智能体,概述了核心安全原则以及 Claude Code 和 Claude Cowork 等产品实现。
面向可信Agentic AI:安全性、鲁棒性、隐私与系统安全综合综述
本调查全面审视了可信的Agentic AI,重点关注安全性、鲁棒性、隐私和系统安全。它澄清了关键概念,沿着Agent工作流程识别风险,总结缓解策略,并整合评估指标和基准,旨在作为在高风险环境中部署Agentic AI的实用参考。
面向关键系统的可信代理型人工智能工程
本综述针对关键工程系统中的代理型AI提出了一个可信模型,涵盖了安全、鲁棒性、透明性、可问责性和安全性,涉及电力系统、自动驾驶车辆等领域。
代理型AI系统运行时治理的道义政策
本文提出了AgenticRei框架,该框架使用OWL表达的道义政策对由LLM驱动的代理型AI系统进行运行时治理,实现了义务、豁免和冲突解决,超越了传统策略引擎。