真的有人在执行AI治理,还是仅仅在制定政策?

Reddit r/AI_Agents 新闻

摘要

文章讨论了书面AI治理政策与实际在运行时AI代理工作流中执行这些规则之间的差距。

许多公司现在声称他们有“AI治理”。通常这指的是使用指南、已批准的工具列表、内部政策文档,也许还有一些安全培训……但实际上,AI的使用要混乱得多。 人们把日志粘贴进ChatGPT……代理连接内部工具……团队尝试随机自动化工作流……有人把LLM接入Slack机器人或CRM流程。当时这些都不觉得有风险,只觉得是在完成工作。 这就是问题所在!!!大多数治理停留在文档里,但代理行为发生在运行时。 政策可以说“不要发送敏感数据”,但工作流本身通常不知道哪些数据是敏感的、代理可以使用什么、哪些工具调用有风险、上下文是否应该从一个步骤移到另一个步骤,或者何时需要人类批准某个操作。 所以差距不在于“我们有AI规则吗?”,而在于这些规则是否真正在代理工作流内部得到执行。 # 对于在公司里构建代理的人:你们是如何处理这个问题的?你们是在工作流本身中强制执行控制,还是主要依赖政策和用户行为?
查看原文

相似文章

AI治理政策能否真正约束智能代理?

Reddit r/AI_Agents

这篇文章讨论了AI代理中描述性治理和既定治理之间的差距,引用了Paulo Cavallo的论文,并强调了微软、IBM和Lyzr等公司如何开发控制平面能力,以在运行时执行策略。