长期运行的AI代理可能面临比记忆更大的连续性问题
摘要
反思了长期运行的AI代理所面临的连续性问题,认为需要确定性控制层来管理权威状态,并质疑现有的IAM、事务和溯源等基础设施是否足够。
我一直在开发一个名为 WALLACE 的多代理系统,最近一篇论文《Beyond Memory: A Transactional Continuity Kernel for Long-Lived AI Agents》提出了一个问题,随着AI系统从回答问题转向实际执行操作,这个问题变得愈发重要。该论文聚焦于一个基本但重要的问题:什么状态可以成为权威状态?LLM可以提出论断。工具可以返回结果。记忆可能包含旧信息。另一个代理可以得出结论。但这些都不应自动成为系统的可信状态。这表明在概率性代理和权威状态之间需要一层确定性控制层。我认为除此之外可能还有一个更广泛的生命周期问题。考虑一个简单序列:代理收到有效指令。它收集信息。做出决定。系统执行外部操作。之后,支持该决定的某些信息或情况发生了变化。此时,仅仅纠正AI的记忆或内部状态可能不够。外部操作已经发生。这引发了一些问题,例如:
- 哪些后续决定依赖于原始信息?
- 哪些待处理操作仍应被允许继续?
- 哪些已完成操作可能需要审查?
- 当自主系统先前有效决策的底层依据发生变化时,应如何处理?
- 如何防止内部状态与实际世界效果在长期运行的工作流中逐渐偏离?
我开始将其视为一个更广泛的连续性问题。可能有几个层面:
状态连续性:哪些信息可以成为权威状态?
权威连续性:随着条件变化,支持某个操作的权威是否仍然有效?
效果连续性:系统如何核算先前决策所带来的持久外部后果?
恢复连续性:当先前被视为有效的事物后来需要更正或审查时,系统应如何响应?
我特意停留在问题层面,因为我还正在研究架构并验证假设。我感兴趣的是现有积木是否足够。我们已经拥有:
- IAM 和访问控制
- 事务系统
- 溯源和审计日志
- 工作流引擎
- 回滚和补偿机制
- 代理记忆系统
- 运行时策略执行
但是,长期运行的自主代理以传统系统不一定需要同时处理的方式组合了所有这些。AI系统可能会在自身知识和权威不断变化的情况下进行推理、委派、收集新证据、使用凭据、调用外部服务并继续运行。这让我想知道,“连续性”最终是否会成为自主系统自身的基础设施层,而不是由记忆、安全和工作流组件分别处理。对于从事代理基础设施的人员:您认为现有的IAM + 事务 + 溯源在正确集成后是否足够,还是长期运行的自主系统缺少一个控制层?
相似文章
在长时间运行的AI代理中,连续性是否不是保存状态,而是保存通过变化的轨迹?
本文质疑长时间运行的AI代理的连续性是否应该关注保存状态,还是通过不可避免的变化保持连贯性,探讨了对记忆、行动和交互的影响。
长时间运行的AI智能体不会耗尽上下文——它们的记忆变得陈旧且自相矛盾。你们如何处理这个问题?
文章探讨了长时间运行的AI智能体所面临的记忆陈旧问题,即上下文变得过时和矛盾,并寻求随着时间的推移保持记忆可靠性的实际解决方案。
我认为AI代理没有记忆问题,而是存在状态完整性问题。
作者认为AI代理存在状态完整性问题而非记忆问题,并提出一个状态账本(State Ledger)来区分历史事实与当前状态,并跟踪来源。
AI代理没有智能问题,它们有状态管理问题
文章认为,AI代理在生产中的大多数故障是由于不稳定的运行状态和内存退化造成的,而非模型能力不足,并强调需要更好的基础设施来支持状态管理、可观测性和自适应可靠性。
长时运行的Agent:瓶颈究竟是模型还是其周围的脚手架?
一场从业者讨论,探讨长时运行的AI Agent故障究竟源于模型能力还是其周围的脚手架,重点分析了错误累积、上下文污染和自我修正薄弱这几种关键故障模式。