人工智能竞赛正演变为一场控制权竞赛。

Reddit r/AI_Agents 新闻

摘要

一篇观点文章,主张企业 AI 竞赛的重心正从模型本身的能力转向智能体的控制与治理,将权限、审批和可审计性内置于架构之中,而非事后附加。

过去两年,企业 AI 领域的讨论主要围绕这些问题展开:AI 的能力能达到什么程度?模型的推理能力有多强?AI 智能体能使用多少种工具?我们能把多少工作交给它?但我认为,如今更重要的企业问题正逐渐变成:当 AI 开始采取行动时,我们能掌握多大程度的控制权?AI 智能体可以理解目标、访问数据、选择工具、做出决策、执行操作,并可能在多个步骤中触发其他系统。这对企业提出了根本不同的要求。我们需要知道:智能体被允许做什么?它可以访问哪些数据?它可以调用哪些系统?它在谁的授权下运行?什么时候需要人工批准?我们能否介入?我们能否准确还原发生的一切?我们能否在不重建整个系统的情况下更改或撤销它的权限?而或许最重要的问题是:当智能体的行为与我们的预期不同时,会发生什么?这就是为什么我认为,治理不能置于架构之外。它必须成为架构的一部分。我们不会让员工不受限制地访问关键企业系统,而是会定义角色、权限、审批、日志记录和职责分离机制。AI 智能体也应遵循同样严谨的架构规范。但治理不应意味着阻止自主行动。我认为恰恰相反。良好的治理,正是企业能够安全提升自主程度的基础。从受限的权限开始。观察行为。衡量结果。对影响重大的操作引入人工审批。然后逐步扩大智能体获准执行的操作范围。在 AIQoD,正因如此,我们将治理视为企业智能平台的基础组成部分,而不是事后附加在平台外围的机制。企业 AI 的下一个竞争优势,可能不只是看谁拥有最聪明的智能体,而是看谁能在保留最有实质意义的控制权的同时,赋予智能体最有用的权限。智能体 AI 的竞赛正在变成一场控制权的竞赛。而这场竞赛才刚刚开始。你对此有何看法?
查看原文

相似文章