长期运行的AI代理可能面临比记忆更大的连续性问题

Reddit r/AI_Agents 新闻

摘要

反思了长期运行的AI代理所面临的连续性问题,认为需要确定性控制层来管理权威状态,并质疑现有的IAM、事务和溯源等基础设施是否足够。

我一直在开发一个名为 WALLACE 的多代理系统,最近一篇论文《Beyond Memory: A Transactional Continuity Kernel for Long-Lived AI Agents》提出了一个问题,随着AI系统从回答问题转向实际执行操作,这个问题变得愈发重要。该论文聚焦于一个基本但重要的问题:什么状态可以成为权威状态?LLM可以提出论断。工具可以返回结果。记忆可能包含旧信息。另一个代理可以得出结论。但这些都不应自动成为系统的可信状态。这表明在概率性代理和权威状态之间需要一层确定性控制层。我认为除此之外可能还有一个更广泛的生命周期问题。考虑一个简单序列:代理收到有效指令。它收集信息。做出决定。系统执行外部操作。之后,支持该决定的某些信息或情况发生了变化。此时,仅仅纠正AI的记忆或内部状态可能不够。外部操作已经发生。这引发了一些问题,例如: - 哪些后续决定依赖于原始信息? - 哪些待处理操作仍应被允许继续? - 哪些已完成操作可能需要审查? - 当自主系统先前有效决策的底层依据发生变化时,应如何处理? - 如何防止内部状态与实际世界效果在长期运行的工作流中逐渐偏离? 我开始将其视为一个更广泛的连续性问题。可能有几个层面: 状态连续性:哪些信息可以成为权威状态? 权威连续性:随着条件变化,支持某个操作的权威是否仍然有效? 效果连续性:系统如何核算先前决策所带来的持久外部后果? 恢复连续性:当先前被视为有效的事物后来需要更正或审查时,系统应如何响应? 我特意停留在问题层面,因为我还正在研究架构并验证假设。我感兴趣的是现有积木是否足够。我们已经拥有: - IAM 和访问控制 - 事务系统 - 溯源和审计日志 - 工作流引擎 - 回滚和补偿机制 - 代理记忆系统 - 运行时策略执行 但是,长期运行的自主代理以传统系统不一定需要同时处理的方式组合了所有这些。AI系统可能会在自身知识和权威不断变化的情况下进行推理、委派、收集新证据、使用凭据、调用外部服务并继续运行。这让我想知道,“连续性”最终是否会成为自主系统自身的基础设施层,而不是由记忆、安全和工作流组件分别处理。对于从事代理基础设施的人员:您认为现有的IAM + 事务 + 溯源在正确集成后是否足够,还是长期运行的自主系统缺少一个控制层?
查看原文

相似文章

AI代理没有智能问题,它们有状态管理问题

Reddit r/AI_Agents

文章认为,AI代理在生产中的大多数故障是由于不稳定的运行状态和内存退化造成的,而非模型能力不足,并强调需要更好的基础设施来支持状态管理、可观测性和自适应可靠性。