在长时间运行的AI代理中,连续性是否不是保存状态,而是保存通过变化的轨迹?

Reddit r/AI_Agents 新闻

摘要

本文质疑长时间运行的AI代理的连续性是否应该关注保存状态,还是通过不可避免的变化保持连贯性,探讨了对记忆、行动和交互的影响。

我一直在思考长时间运行的AI代理的连续性,尤其是在阅读了关于记忆、持久状态和恢复的讨论之后。我们似乎常常将连续性框架化为一个保存问题:▪︎保存记忆 ▪︎保存上下文 ▪︎保存状态 ▪︎保存身份 但我怀疑这是否从错误的假设开始。长时间运行的代理不可避免地会发生变化。它的信息改变,环境改变,决策影响外部世界,后续证据可能使先前合理的假设无效。一旦代理作用于世界,简单地恢复先前的内部状态可能无法恢复连续性。世界本身已经不同。因此,或许连续性与其说是保存相同性,不如说是在变化中保持连贯性。 考虑三个案例。 1. 记忆连续性 如果部分记忆丢失、压缩或修改,代理是否必然变成不同的代理?或者连续性是否能在记忆的部分不连续中存活? 2. 行动连续性 假设一个代理做出决策,对外行动,后来发现支持该决策的信息是错误的。它不能总是回滚世界。相反,它可能需要追踪哪些后续决策依赖于该信息,重新评估其影响,修复可修复的部分,并将后果纳入未来行为。在这种情况下,恢复可能不仅仅是恢复连续性。恢复可能是连续性的一部分。 3. 关系连续性 当代理与人类或其他代理持续交互时,事情变得更加奇怪。双方都不会保持不变。每次交互都改变下一次的条件。随着时间的推移,连续性可能不存在于保存的快照中,而是存在于通过重复交互、预测、纠正和修复产生的轨迹中。 这让我怀疑我们是否应该将连续性视为状态的属性。或许它更接近于状态之间转换的属性:不是“系统是否保持相同?”而是“系统能否在不失去与其产生的轨迹的连贯性的情况下纳入变化?”我不认为这解决了身份问题。它可能使其更难。因为然后出现另一个问题:成功的修复在何时计入连续性,轨迹在何时改变到我们应称之为新系统或身份?我特别感兴趣的是构建长时间运行代理的人如何思考这个问题。这是否已经通过现有方法如事件溯源、溯源、事务状态、检查点和恢复机制充分捕捉?或者自主代理是否有什么使得连续性成为一个独特的系统问题?
查看原文

相似文章