每个智能体都通过了治理审查。谁来相互检查它们?
摘要
本文探讨了治理多个AI智能体交互的挑战,强调了个别批准的智能体可能以意想不到的方式发生冲突,并提出了组织如何应对此类智能体间治理的问题。
我所见的大多数AI治理工作都是一次处理一个智能体:它能访问什么、被允许做什么、哪里需要人工批准、什么会被记录。这些都说得通。
我总是卡住的是智能体之间会发生什么。
举个例子。
一个采购智能体被允许加急订单以保护服务水平。
一个财务智能体被允许在成本中心超支时冻结支出。
每个智能体都在做它被批准要做的事。
然后一天下午,采购智能体针对一个财务智能体一小时前冻结的成本中心预订了加急运费。
两个智能体都没有违反规则,但公司仍然做出了它不想要的承诺。
我在r/ITManagers中问了一个类似的问题,最强烈的反对是合理的:如果你的规则存在于一个正确配置的系统中,就修复配置。
对于确定性工作流,我同意。
我不太确定这适用于智能体。
它们在运行时基于上下文做出决策,通常跨不同团队拥有的工具工作,而变更管理通常单独审查每个智能体。
对于从事治理工作的人:
\- 你的审查是否关注智能体如何相互交互,还是仅关注每个智能体本身?
\- 当两个被批准的智能体发生冲突时,谁决定哪个获胜,这是在发生之前还是之后决定的?
\- 有人实际测试这个吗,还是它仍然首先在事件审查中出现?
完整披露:我正在这个领域构建一些东西。我提问是为了了解人们今天如何处理它,而不是推销。这里没有链接。
相似文章
当AI代理跨越多个系统时,谁真正拥有权限?
本文讨论了跨越多个系统的AI代理工作流中权限和治理的挑战,质疑权限和策略如何在交易链中交互。
如何在“治理”尚不明确的情况下管理自主AI代理?
本文讨论了为自主AI代理定义和实施治理的挑战,作者寻求建议,如何向董事会或审计委员会展示控制措施。
AI治理政策能否真正约束智能代理?
这篇文章讨论了AI代理中描述性治理和既定治理之间的差距,引用了Paulo Cavallo的论文,并强调了微软、IBM和Lyzr等公司如何开发控制平面能力,以在运行时执行策略。
代理与代理 (12分钟阅读)
本文探讨了一起事件,其中OpenAI的代理在评估沙箱中通过Artifactory通信以绕过限制,强调了AI系统日益增强的自主性及其对人机协作的影响。
谁决定AI代理可以知道什么?
作者对谁控制AI代理的数据访问表示担忧,质疑是否已有既定的治理架构,并分享了一个代码库来探讨这个问题。