在长时间运行的AI代理中,连续性是否不是保存状态,而是保存通过变化的轨迹?
摘要
本文质疑长时间运行的AI代理的连续性是否应该关注保存状态,还是通过不可避免的变化保持连贯性,探讨了对记忆、行动和交互的影响。
我一直在思考长时间运行的AI代理的连续性,尤其是在阅读了关于记忆、持久状态和恢复的讨论之后。我们似乎常常将连续性框架化为一个保存问题:▪︎保存记忆 ▪︎保存上下文 ▪︎保存状态 ▪︎保存身份 但我怀疑这是否从错误的假设开始。长时间运行的代理不可避免地会发生变化。它的信息改变,环境改变,决策影响外部世界,后续证据可能使先前合理的假设无效。一旦代理作用于世界,简单地恢复先前的内部状态可能无法恢复连续性。世界本身已经不同。因此,或许连续性与其说是保存相同性,不如说是在变化中保持连贯性。
考虑三个案例。
1. 记忆连续性
如果部分记忆丢失、压缩或修改,代理是否必然变成不同的代理?或者连续性是否能在记忆的部分不连续中存活?
2. 行动连续性
假设一个代理做出决策,对外行动,后来发现支持该决策的信息是错误的。它不能总是回滚世界。相反,它可能需要追踪哪些后续决策依赖于该信息,重新评估其影响,修复可修复的部分,并将后果纳入未来行为。在这种情况下,恢复可能不仅仅是恢复连续性。恢复可能是连续性的一部分。
3. 关系连续性
当代理与人类或其他代理持续交互时,事情变得更加奇怪。双方都不会保持不变。每次交互都改变下一次的条件。随着时间的推移,连续性可能不存在于保存的快照中,而是存在于通过重复交互、预测、纠正和修复产生的轨迹中。
这让我怀疑我们是否应该将连续性视为状态的属性。或许它更接近于状态之间转换的属性:不是“系统是否保持相同?”而是“系统能否在不失去与其产生的轨迹的连贯性的情况下纳入变化?”我不认为这解决了身份问题。它可能使其更难。因为然后出现另一个问题:成功的修复在何时计入连续性,轨迹在何时改变到我们应称之为新系统或身份?我特别感兴趣的是构建长时间运行代理的人如何思考这个问题。这是否已经通过现有方法如事件溯源、溯源、事务状态、检查点和恢复机制充分捕捉?或者自主代理是否有什么使得连续性成为一个独特的系统问题?
相似文章
长期运行的AI代理可能面临比记忆更大的连续性问题
反思了长期运行的AI代理所面临的连续性问题,认为需要确定性控制层来管理权威状态,并质疑现有的IAM、事务和溯源等基础设施是否足够。
长时间运行的AI智能体不会耗尽上下文——它们的记忆变得陈旧且自相矛盾。你们如何处理这个问题?
文章探讨了长时间运行的AI智能体所面临的记忆陈旧问题,即上下文变得过时和矛盾,并寻求随着时间的推移保持记忆可靠性的实际解决方案。
我认为AI代理没有记忆问题,而是存在状态完整性问题。
作者认为AI代理存在状态完整性问题而非记忆问题,并提出一个状态账本(State Ledger)来区分历史事实与当前状态,并跟踪来源。
我一直在尝试自定义智能体,有趣的部分并非任务完成,而是它们拥有记忆后发生的变化
作者反思了实验自定义 AI 智能体的经历,指出长期记忆和连续性将智能体从简单的任务执行者转变为具有“稳定倾向”的持久协作伙伴。这引发了关于智能体“个性”的价值与工作流程中控制、可靠性和可审计性需求之间的矛盾的问题。
尝试让智能体记忆跨会话持久化所学的经验
本文反思了AI智能体记忆的复杂性,远超简单的存储问题,强调了诸如判断真实性、优先级变化、区分决策与噪音以及何时恰当地呈现上下文等挑战。