无人真正确保智能体AI部署的安全。

大多数智能体AI项目从未超越试点阶段。但那些成功的项目通常会进行一次安全审查，这相当于“模型提供商处理此事。”一旦智能体拥有实际执行操作的权限，他们就不这么做了。OWASP的智能体安全倡议去年发布了一份Top 10，这基本上是一份目前无人将其视为故障模式的故障模式列表；包括目标劫持、工具滥用以及智能体自身身份和权限被滥用。我曾目睹一个团队赋予智能体对IT工单系统、CRM和内部文档的写入权限，仅因模型卡提到了防越狱能力就宣称安全审查完成，然后继续前进。真正坑人的地方在于：没有人以一种在事后出问题时能站得住脚的方式记录智能体决策。没有人测试当工具调用返回恶意内容时会发生什么，只测试当用户提示出错时的情况。而且权限通常比你给同一职位的新员工还要宽松。有一个更新的标准试图将此形式化，即AIUC-1，它映射到ISO 42001和NIST的AI RMF，而不是从头开始，这是一个不错的迹象，表明该领域正在成熟。但它的进展仍然比实际投入使用的智能体慢。我认为这不是无法解决的。最小权限、真正的日志记录、分段，这些都不是新的概念。只是在这里还没有被应用。如果你的组织已经将一个智能体投入生产环境，并且背后有实际的安全审查，我很想听听那是什么样的。