真的有人在执行AI治理,还是仅仅在制定政策?
摘要
文章讨论了书面AI治理政策与实际在运行时AI代理工作流中执行这些规则之间的差距。
许多公司现在声称他们有“AI治理”。通常这指的是使用指南、已批准的工具列表、内部政策文档,也许还有一些安全培训……但实际上,AI的使用要混乱得多。
人们把日志粘贴进ChatGPT……代理连接内部工具……团队尝试随机自动化工作流……有人把LLM接入Slack机器人或CRM流程。当时这些都不觉得有风险,只觉得是在完成工作。
这就是问题所在!!!大多数治理停留在文档里,但代理行为发生在运行时。
政策可以说“不要发送敏感数据”,但工作流本身通常不知道哪些数据是敏感的、代理可以使用什么、哪些工具调用有风险、上下文是否应该从一个步骤移到另一个步骤,或者何时需要人类批准某个操作。
所以差距不在于“我们有AI规则吗?”,而在于这些规则是否真正在代理工作流内部得到执行。
# 对于在公司里构建代理的人:你们是如何处理这个问题的?你们是在工作流本身中强制执行控制,还是主要依赖政策和用户行为?
相似文章
AI治理政策能否真正约束智能代理?
这篇文章讨论了AI代理中描述性治理和既定治理之间的差距,引用了Paulo Cavallo的论文,并强调了微软、IBM和Lyzr等公司如何开发控制平面能力,以在运行时执行策略。
凌晨3点的思考:AI 智能体的真正问题不是运行时强制执行,而是治理维护。
文章认为,AI 智能体在生产环境中的首要挑战不是运行时强制执行,而是随着智能体动态获取新能力和工具而对治理策略进行持续维护,并建议利用智能观察来保持策略的一致性。
在生产环境中,究竟是谁在强制执行AI代理的预执行策略?
关于AI代理在生产环境中是否以及如何执行预执行策略的讨论,强调了安全和治理方面的潜在漏洞。
真的有人在强制要求代码生成智能体遵守策略与意图吗?还是大家都只是在依赖那些权限确认提示?
作者探讨了为AI代码生成智能体构建策略执行工具的相关思路,这类工具包含严格的允许/拒绝规则以及意图检测机制,旨在确保智能体始终遵循其既定计划执行任务。
我们把正确的代理政策写下来了,但没有任何东西强制执行。
文章强调了AI代理政策与实际执行之间的差距,提出规则必须以阻止性检查的形式实施,并通过测试验证以确保合规。