人工智能竞赛正演变为一场控制权竞赛。
摘要
一篇观点文章,主张企业 AI 竞赛的重心正从模型本身的能力转向智能体的控制与治理,将权限、审批和可审计性内置于架构之中,而非事后附加。
过去两年,企业 AI 领域的讨论主要围绕这些问题展开:AI 的能力能达到什么程度?模型的推理能力有多强?AI 智能体能使用多少种工具?我们能把多少工作交给它?但我认为,如今更重要的企业问题正逐渐变成:当 AI 开始采取行动时,我们能掌握多大程度的控制权?AI 智能体可以理解目标、访问数据、选择工具、做出决策、执行操作,并可能在多个步骤中触发其他系统。这对企业提出了根本不同的要求。我们需要知道:智能体被允许做什么?它可以访问哪些数据?它可以调用哪些系统?它在谁的授权下运行?什么时候需要人工批准?我们能否介入?我们能否准确还原发生的一切?我们能否在不重建整个系统的情况下更改或撤销它的权限?而或许最重要的问题是:当智能体的行为与我们的预期不同时,会发生什么?这就是为什么我认为,治理不能置于架构之外。它必须成为架构的一部分。我们不会让员工不受限制地访问关键企业系统,而是会定义角色、权限、审批、日志记录和职责分离机制。AI 智能体也应遵循同样严谨的架构规范。但治理不应意味着阻止自主行动。我认为恰恰相反。良好的治理,正是企业能够安全提升自主程度的基础。从受限的权限开始。观察行为。衡量结果。对影响重大的操作引入人工审批。然后逐步扩大智能体获准执行的操作范围。在 AIQoD,正因如此,我们将治理视为企业智能平台的基础组成部分,而不是事后附加在平台外围的机制。企业 AI 的下一个竞争优势,可能不只是看谁拥有最聪明的智能体,而是看谁能在保留最有实质意义的控制权的同时,赋予智能体最有用的权限。智能体 AI 的竞赛正在变成一场控制权的竞赛。而这场竞赛才刚刚开始。你对此有何看法?
相似文章
AI代理是否在我们学会如何控制它们之前就变得更有能力?
本文讨论了AI代理能力与生产环境所需控制机制之间日益扩大的差距,重点介绍了权限、升级和问责方面的挑战。
问题:我们是否正进入一个代理治理与代理能力同等重要的阶段?
本文讨论了从AI代理能力到代理治理的关注点转移,强调了微软、Noma、Netskope、Immuta和Outreach等公司近期发布的产品公告,这些公告建立了代理身份、权限和审计追踪的控制层。
也许AI竞赛的根本不是模型,而是信任与组织智能
本文认为,AI竞赛最终可能关乎信任与组织智能,而非模型基准竞争,因为企业应用需要集成、治理和问责,而不仅仅是原始智能。
下一个AI优势可能是运营控制,而非模型能力
随着AI代理获得更多能力,运营控制——而非模型能力——成为主要挑战,引发了关于安全、权限、可观测性和恢复的关键问题。
AI编程智能体可以编写代码,那么接下来发生的事情应该由谁来控制?
本文探讨了在代码更改后控制AI编程智能体的挑战,并提出一个工程控制平面来处理权限、验证和人工审批。