我们是否低估了AI代理记忆可能带来的危险?

Reddit r/AI_Agents 新闻

摘要

讨论了赋予AI代理记忆的风险,包括信任问题、数据投毒和运营风险,并向构建者提出了关键问题。

大多数关于AI代理的讨论都集中在工具、MCP服务器、工作流和自主性上。但我认为记忆将成为代理系统中最混乱的部分之一。无状态代理是有限的。它会忘记上下文、重复提问,并且需要持续的指令……但一旦你赋予代理记忆,它就会开始携带假设、用户偏好、项目细节、检索到的数据、过去的操作,有时还有敏感上下文……这就产生了一个奇怪的问题……记忆让代理更有用,也让它更难被信任……// 我一直在思考的几个问题是: * 代理应该被允许记住什么? * 谁可以编辑或删除这些记忆? * 记忆应该自动过期吗? * 被投毒或过时的记忆会影响未来的决策吗? * 个人使用、团队使用和企业使用的记忆应该不同吗? * 如果决策部分源于旧记忆,你如何审计代理为何做出决定? 对于简单的聊天机器人来说,糟糕的记忆令人烦恼;而对于连接到工具、文件、浏览器、CRM、代码库或内部文档的代理来说,糟糕的记忆可能成为运营风险……我认为答案不是"无记忆"。代理需要上下文才能有用……但我也认为"存储一切"并不安全。那么,构建代理的人是如何处理这个问题的呢?……你是让记忆短暂存在、由用户控制、按项目范围限定、手动审查,还是只是让代理自己决定什么重要?????
查看原文

相似文章