行动许可并非等同于行动证据
摘要
本文区分了AI代理行动的许可与证明行动所需的证据,介绍了有机智能协议(OIP)以建立证据边界,并通过最近的一个审计案例研究进行说明。
AI代理拥有行动许可并不意味着它有足够的证据来行动。这一区别很容易被忽视。许可回答了一个问题:系统是否被允许执行该行动?证据充分性则回答了另一个问题:系统是否拥有足够可靠且相关的信息来证明进入下一阶段的合理性?这两者并非同一种控制。系统可以拥有工具、数据和执行权限,但仍缺乏足够证据来执行合理的行动。这就产生了一个重要的失败模式。系统不一定是由于无法行动而失败。它可能是在下一阶段所需的证据尚未确立之前就采取了行动。这就是我通过有机智能协议(OIP)一直在研究的边界。OIP研究序列是:证据 → 度量 → 评分 → 评估 → 声明每个转换都需要其自身的依据。仅因为早期阶段产生了工件,并不意味着后续阶段被授权。指导原则是严格的:
无证据 → 无操作化
无批准的操作化 → 无授权评分
无独立可估计的结果 → 无实证评估
无独立评估 → 无有效性声明
我最近完成了对Tanzania NPS Wave 4的OIP v1.0.36资格审计。该审计检查了83个源工件、1,792个唯一变量和7个标识符候选者。下游授权所需的证据未确立。因此,过程停止。无构念被授权。无标识符被授权。无结果被授权。无分析队列被创建。无评分被计算。无实证评估被进行。重要的不是系统停止了。重要的是它为什么停止。它没有用假设、无支持的代理、静默插补、合成结果或事后调整来填补证据缺口。这引发了关于代理系统的更广泛问题:在行动甚至被考虑之前,证据充分性是否应成为正式的门槛,还是执行层的许可就足够了?对我来说,随着AI系统从生成答案转向采取重大行动,这一区别变得越来越重要。代理需要的不仅仅是许可。它需要一个证据边界。无证据,无操作化。
相似文章
“能行动”不等同于“有足够证据行动”
本文区分了AI智能体行动的权限与拥有足够证据来证明行动的合理性,并质疑在智能体系统中,对充足证据的检查应置于何处。
今天,如果有人要求你证明一个AI代理确实被授权执行某个操作,你会展示什么?
本文探讨了证明AI代理执行操作授权的挑战,强调仅凭凭证是不够的,授权必须是执行前的、基于策略的,并且可验证。
治理行动,而非智能体:将机构认证作为自主AI系统的治理模型
本文提出了一种基于机构认证的自主AI智能体治理模型,其中行动通过独立认证的证据进行治理,而非监控智能体推理。该模型通过概念验证实现进行了形式化,适用于临床处方和软件部署等高风险行动。
AI代理应被允许自行决定哪些权限?
本文讨论了AI代理不应自行授权行动的原则,并探讨了在允许模型独立决策时如何划定界限,强调了审批系统和策略等外部控制手段。
AI代理的真正瓶颈或许在于证明身份
文章指出,智能不再是AI代理的主要瓶颈;相反,在自主操作获得信任之前,证明代理的身份、权限和问责制才是关键挑战。