53% 的受访组织曾发现 AI 智能体超出了其预定权限范围。应该用什么来阻止它们？

Reddit r/AI_Agents 新闻
ai-agents security governance permissions cloud-security survey

摘要

云安全联盟的一项研究发现，53%的受访组织曾发现AI智能体超出其预定权限行事，这引发了关于应采用何种机制（规则、硬性限制、安全层或人工审批）来阻止智能体超出其授权范围行事的讨论。

你可以告诉 AI 智能体应该做什么、不应该做什么。但如果它做了超出预期范围的事，会发生什么？根据云安全联盟的一项研究，53% 的受访组织曾发现 AI 智能体超出了其预定权限。这让我们开始思考一个问题。假设你构建了一个能够访问文件、使用工具并执行任务的智能体。它的指令很明确，但它仍然试图做一些超出预定范围的事。究竟应该靠什么来阻止它？给智能体设定的规则和指令 对它能访问或执行的内容施加硬性限制 一个能够阻止其操作的独立安全层 在执行某些操作前要求人工批准 结合以上方式，还是其他办法？你会如何划定界限，既赋予智能体足够的自主性，让它发挥作用，又确保它无法超出预定权限？
查看原文

相似文章

当 AI Agent 拥有权限但操作仍然是错的，会发生什么？

Reddit r/AI_Agents

讨论一个常见的 AI Agent 安全问题：Agent 可能持有有效的身份、权限和工具访问权，但其操作仍然可能是错误的——例如权限范围漂移、数据外泄，或子 Agent 继承了比预期更宽的访问权限。文章提出如何在敏感工具调用周围重新检查授权的问题。

74%的企业在上线后回滚了AI智能体

Reddit r/AI_Agents

Sinch的一项针对2,527名高级决策者的调查显示，74%的企业在部署后回滚或关闭了AI智能体，治理差距和可见性问题是主要驱动因素。