AI 智能体能否正当地治理另一个 AI 智能体？
摘要
探讨在一种架构中——由一个 AI 智能体监控另一个 AI 智能体——所存在的权限鸿沟，质疑 AI 对 AI 的监督究竟是真正的治理，还是仅仅转移了决策负担，以及约束性权力最终应当归属于谁。
我最近看到越来越多的架构设计：一个 AI 智能体负责执行任务，而另一个 AI 智能体监控其行为、评估风险，并有权阻止操作的执行。这当然有其价值，但我一直有一个挥之不去的疑问：如果监控智能体本身也是依赖一个模型来决定什么该做、什么不该做，那么真正的治理权力究竟从何而来？我们是在引入独立的监督机制，还是只是让另一个模型来做决定？
当一个操作被叫停时，情况就更有意思了。如果这个暂停可以被解除，那么谁或什么拥有解除它的权力？如果是人类，拥有批准某项操作的权限，并不自动意味着他具备针对该特定决策的胜任能力、拥有足够的独立性，或者仍然被授权做出该决定。而如果决策权交给了另一个 AI 智能体，我们实际上并没有回答最初的问题——只是把它挪到了另一个地方。
我认为 AI 帮助监控系统、识别风险或辅助人类判断并没有问题。这些都是有用的角色，即使它们的评估可能出错。让我困扰的是那个临界点：AI 生成的评估在何时会变成具有约束力的治理决策？究竟是什么赋予了该判定以权威性，又是谁有权在关键时刻确认这种权威是有效的？
相似文章
每个智能体都通过了治理审查。谁来相互检查它们？
本文探讨了治理多个AI智能体交互的挑战，强调了个别批准的智能体可能以意想不到的方式发生冲突，并提出了组织如何应对此类智能体间治理的问题。
当AI代理跨越多个系统时，谁真正拥有权限？
本文讨论了跨越多个系统的AI代理工作流中权限和治理的挑战，质疑权限和策略如何在交易链中交互。
如何在“治理”尚不明确的情况下管理自主AI代理？
本文讨论了为自主AI代理定义和实施治理的挑战，作者寻求建议，如何向董事会或审计委员会展示控制措施。
AI治理政策能否真正约束智能代理？
这篇文章讨论了AI代理中描述性治理和既定治理之间的差距，引用了Paulo Cavallo的论文，并强调了微软、IBM和Lyzr等公司如何开发控制平面能力，以在运行时执行策略。
谁决定AI代理可以知道什么？
作者对谁控制AI代理的数据访问表示担忧，质疑是否已有既定的治理架构，并分享了一个代码库来探讨这个问题。