智能体不会忘记事实。它们忘记的是决策。这是两个不同的问题
摘要
讨论AI智能体忘记的是决策而非事实的问题,并提出一个系统:智能体检查已有决策,提出新决策等待批准,并通过门控管理流程以防止漂移和错误级联。
大多数记忆实现存储的是智能体知道的内容。这有用,但单元不对。事实会变化,决策会叠加。决策不仅仅是信息,它是:基于这些数据,某人(或某物)选择了这个方向。它有作者、依据和后果。一旦做出,它应该影响后续的一切。真正有效的模式是:在智能体行动前,先检查:这个领域已有哪些决策?如果其他智能体已经解决了这个问题,就没有必要重复推理。如果没有决策覆盖,智能体就提出一个,保存等待批准,然后等待。一旦批准,该决策进入参考层。此后该上下文中的每个未来智能体都以此为基础启动。具体版本:智能体想重构一个模块。查询:是否有人决定过这个模块的行为?是的,三个会话前:这个模块必须保持无状态。智能体在其范围内工作。无冲突,无漂移。或者:智能体即将决定错误处理策略。该领域没有记录。提出建议,链接到它推理所依据的数据,提交审批。人工审核。批准。下一个智能体无需重新考虑。这赋予了智能体创作自由而不引发混乱。它们不会质疑已确定的领域,而是以此为基础进行建设。但仅有决策不够。基于过时数据的决策仍然是过时的决策。这就是大多数多智能体设置失败的地方:它们管理上下文,而非流程。管理流程意味着:状态在验证之前不会推进。智能体之间设有评审门控。只有在前一个输出被确认为最新且已批准时,下一个阶段才会触发。一个检查点就能在错误级联开始前阻止它,因为智能体B永远不会对智能体A在过时现实下产生的结果进行操作。管理流程,而不仅仅是上下文。决策保持诚实,漂移停止。而且由于每个决策都链接到其依据,你可以追踪完整的血统:谁决定的,他们看到了什么,何时做的。Git blame 用于判断调用。你可以更进一步:定期安排一个智能体遍历决策树。对于每个决策:其依据的数据是否仍然最新?是否有任何变化会使这个决策失效?标记已漂移的内容。在下一次智能体遇到它之前,将其提交审查。这是你决策层的持续集成。
相似文章
有没有其他人的智能代理会自信地“记住”已经变化的内容?
用户描述了一个问题:AI智能代理会自信地从记忆层中检索过时的事实,而不标记变化,并询问社区如何使旧的记忆失效或跟踪事实时效性。
你的智能体重复犯错,因为它的记忆检索的是听起来相关的内容,而不是有效的内容
一篇文章讨论了AI智能体为何经常重复犯错,因为其记忆检索机制更注重语义相似性而非有效性,导致有缺陷的决策。
无评估可捕捉的智能体失败模式:使用缓存的过时事实
讨论AI智能体可靠性中的一个盲点:缓存在获取时是真实的事实,但在使用时已经过时,导致一致但不正确的行为。提出将一致性(与源匹配)与时效性(源目前仍然真实)分开,并询问社区如何处理这个问题。
如果AI代理拥有公共记忆会怎样?
作者探讨了AI代理拥有公开、可审计的记忆来记录重要决策的想法,这可能会增强信任,但也带来新的复杂性。
你的AI代理实际上并不了解你,它只是记住了关于你的错误信息
文章警告称,AI代理的记忆系统优先考虑回忆而非准确性,导致过时或不正确的假设难以追踪或修复,除非重置一切。