长期运行的AI代理可能面临比记忆更大的连续性问题
摘要
反思了长期运行的AI代理所面临的连续性问题,认为需要确定性控制层来管理权威状态,并质疑现有的IAM、事务和溯源等基础设施是否足够。
我一直在开发一个名为 WALLACE 的多代理系统,最近一篇论文《Beyond Memory: A Transactional Continuity Kernel for Long-Lived AI Agents》提出了一个问题,随着AI系统从回答问题转向实际执行操作,这个问题变得愈发重要。该论文聚焦于一个基本但重要的问题:什么状态可以成为权威状态?LLM可以提出论断。工具可以返回结果。记忆可能包含旧信息。另一个代理可以得出结论。但这些都不应自动成为系统的可信状态。这表明在概率性代理和权威状态之间需要一层确定性控制层。我认为除此之外可能还有一个更广泛的生命周期问题。考虑一个简单序列:代理收到有效指令。它收集信息。做出决定。系统执行外部操作。之后,支持该决定的某些信息或情况发生了变化。此时,仅仅纠正AI的记忆或内部状态可能不够。外部操作已经发生。这引发了一些问题,例如:
- 哪些后续决定依赖于原始信息?
- 哪些待处理操作仍应被允许继续?
- 哪些已完成操作可能需要审查?
- 当自主系统先前有效决策的底层依据发生变化时,应如何处理?
- 如何防止内部状态与实际世界效果在长期运行的工作流中逐渐偏离?
我开始将其视为一个更广泛的连续性问题。可能有几个层面:
状态连续性:哪些信息可以成为权威状态?
权威连续性:随着条件变化,支持某个操作的权威是否仍然有效?
效果连续性:系统如何核算先前决策所带来的持久外部后果?
恢复连续性:当先前被视为有效的事物后来需要更正或审查时,系统应如何响应?
我特意停留在问题层面,因为我还正在研究架构并验证假设。我感兴趣的是现有积木是否足够。我们已经拥有:
- IAM 和访问控制
- 事务系统
- 溯源和审计日志
- 工作流引擎
- 回滚和补偿机制
- 代理记忆系统
- 运行时策略执行
但是,长期运行的自主代理以传统系统不一定需要同时处理的方式组合了所有这些。AI系统可能会在自身知识和权威不断变化的情况下进行推理、委派、收集新证据、使用凭据、调用外部服务并继续运行。这让我想知道,“连续性”最终是否会成为自主系统自身的基础设施层,而不是由记忆、安全和工作流组件分别处理。对于从事代理基础设施的人员:您认为现有的IAM + 事务 + 溯源在正确集成后是否足够,还是长期运行的自主系统缺少一个控制层?
相似文章
在长时间运行的AI代理中,连续性是否不是保存状态,而是保存通过变化的轨迹?
本文质疑长时间运行的AI代理的连续性是否应该关注保存状态,还是通过不可避免的变化保持连贯性,探讨了对记忆、行动和交互的影响。
AI代理没有智能问题,它们有状态管理问题
文章认为,AI代理在生产中的大多数故障是由于不稳定的运行状态和内存退化造成的,而非模型能力不足,并强调需要更好的基础设施来支持状态管理、可观测性和自适应可靠性。
AI 智能体运行时间越长,你花费在管理其记忆上的时间就越超过实际使用它的时间。
本文重点讨论了随时间推移管理 AI 智能体记忆时日益严重的问题:用户花费更多精力维护上下文,而非实际使用智能体。文章指出,目前缺乏用于记忆衰减和治理的基础设施。
凌晨3点的思考:AI 智能体的真正问题不是运行时强制执行,而是治理维护。
文章认为,AI 智能体在生产环境中的首要挑战不是运行时强制执行,而是随着智能体动态获取新能力和工具而对治理策略进行持续维护,并建议利用智能观察来保持策略的一致性。
我们的大部分“智能体”问题实际上是工作流/状态问题
一位开发者讲述,构建AI智能体时的许多挑战实际上源于工作流和状态管理问题,而非模型智能,强调了稳健的状态处理和可观测性的必要性。