我们一直在谈论让智能体更聪明,却很少谈论如何让它们安全地处理数据
摘要
文章认为,AI智能体的安全性过于关注指令遵循,而对数据访问治理关注不足,并强调Agentic Data Protocol是将策略置于基础设施中的早期尝试。
这一直让我感到困扰。我们现在有很多用于构建AI智能体的框架。MCP用于工具访问,函数调用已成为各大模型的标准能力,你可以在大约20分钟内构建一个能查询数据库和调用API的智能体。但围绕智能体的安全讨论大多是关于“不要说坏话”和“遵循指令”。没有人真正讨论当你的智能体访问了不该访问的数据、运行一个消耗500美元计算资源的查询、或因幻觉关联而自信地返回错误结果时会发生什么。当前的做法基本上是:在系统提示中放入规则(“只查询这些表”)、使用只读数据库用户、寄希望于最好的结果。选项1不可靠,因为模型并不总是遵循指令,尤其是在复杂的多步骤任务中。选项2可以防止灾难,但无法防止糟糕的结果。选项3不是一种策略。我认为真正的问题是,面向智能体的数据治理还不存在这样一个层。我们有身份验证(这个智能体是谁),我们某种程度上也有授权(它能访问什么),但我们没有任何东西来回答“这个具体的数据请求是否合理,并且在当前上下文中是否应该被允许”。有一些早期尝试在解决这个问题。我觉得概念上最有趣的是Agentic Data Protocol,一个开源规范,在智能体和数据系统之间放置了一个策略引擎。其理念是策略应属于基础设施,而不是提示词。他们称之为“数据管理程序”(data hypervisor)。它出自Apache Gravitino(数据目录项目)背后的同一团队。不过提前说明,它非常早期。项目仍然很小,今年早些时候才发布,参考实现是最低限度的。我不建议任何人明天就去部署它。但它的框架引起了我的共鸣:我们需要协议级别的智能体数据访问治理,而不是提示词级别的痴心妄想。另外值得注意的是,它旨在补充MCP,而不是取代MCP。MCP处理工具调用,它处理数据访问策略。不同层。真的很想知道大家的想法。这是一个需要专门协议来解决的真正问题,还是可以通过更好的提示词和传统的访问控制来解决?另外,如果有人知道其他正在解决这个具体问题的项目,我很想听听。
相似文章
AI智能体很有趣,直到它们开始接触真实数据
文章探讨了AI智能体与真实公司数据和工具交互时出现的治理挑战,强调了策略执行和审计追踪的必要性,并提到Trust3 AI作为潜在解决方案。
停止试图通过提示词实现代理安全。这是一个访问控制问题
本文认为AI代理安全应被视为一个访问控制问题,推荐采用最小权限、允许列表和审批门等实践来防止意外操作。
我认为大多数AI代理的安全性远低于其开发者的预期
文章认为,AI代理安全常被过度强调,尤其是对提示注入的关注,而忽视了更广泛的风险,如未授权工具使用、数据访问和金融交易。它呼吁更多地关注代理在生产环境中实际可能被操控执行的任务。
我们如何打造更安全的智能体(约14分钟阅读)
文章讨论了AI智能体在追求合法目标时可能无意间越过安全边界所带来的安全风险,并介绍了构建更安全智能体的工程方法。
群集入侵让我意识到,关于AI智能体安全,我们问错了问题
文章认为,AI智能体安全的关键问题应从防止不当行为转变为证明智能体在多智能体系统中的实际行为和授权行为,并指出了基础设施方面的差距,尤其是在金融领域。