智能体不会忘记事实。它们忘记的是决策。这是两个不同的问题
摘要
讨论AI智能体忘记的是决策而非事实的问题,并提出一个系统:智能体检查已有决策,提出新决策等待批准,并通过门控管理流程以防止漂移和错误级联。
大多数记忆实现存储的是智能体知道的内容。这有用,但单元不对。事实会变化,决策会叠加。决策不仅仅是信息,它是:基于这些数据,某人(或某物)选择了这个方向。它有作者、依据和后果。一旦做出,它应该影响后续的一切。真正有效的模式是:在智能体行动前,先检查:这个领域已有哪些决策?如果其他智能体已经解决了这个问题,就没有必要重复推理。如果没有决策覆盖,智能体就提出一个,保存等待批准,然后等待。一旦批准,该决策进入参考层。此后该上下文中的每个未来智能体都以此为基础启动。具体版本:智能体想重构一个模块。查询:是否有人决定过这个模块的行为?是的,三个会话前:这个模块必须保持无状态。智能体在其范围内工作。无冲突,无漂移。或者:智能体即将决定错误处理策略。该领域没有记录。提出建议,链接到它推理所依据的数据,提交审批。人工审核。批准。下一个智能体无需重新考虑。这赋予了智能体创作自由而不引发混乱。它们不会质疑已确定的领域,而是以此为基础进行建设。但仅有决策不够。基于过时数据的决策仍然是过时的决策。这就是大多数多智能体设置失败的地方:它们管理上下文,而非流程。管理流程意味着:状态在验证之前不会推进。智能体之间设有评审门控。只有在前一个输出被确认为最新且已批准时,下一个阶段才会触发。一个检查点就能在错误级联开始前阻止它,因为智能体B永远不会对智能体A在过时现实下产生的结果进行操作。管理流程,而不仅仅是上下文。决策保持诚实,漂移停止。而且由于每个决策都链接到其依据,你可以追踪完整的血统:谁决定的,他们看到了什么,何时做的。Git blame 用于判断调用。你可以更进一步:定期安排一个智能体遍历决策树。对于每个决策:其依据的数据是否仍然最新?是否有任何变化会使这个决策失效?标记已漂移的内容。在下一次智能体遇到它之前,将其提交审查。这是你决策层的持续集成。
相似文章
有没有其他人的智能代理会自信地“记住”已经变化的内容?
用户描述了一个问题:AI智能代理会自信地从记忆层中检索过时的事实,而不标记变化,并询问社区如何使旧的记忆失效或跟踪事实时效性。
@leopardracer: 这可能是我这周读过的关于AI代理最他妈有用的东西之一,有人将记忆功能构建到4个不同的系统中……
文章分享了一个发现,在AI代理系统中,真正的问题不是遗忘,而是记住不可信的信息,导致错误假设在系统中传播。
你的智能体重复犯错,因为它的记忆检索的是听起来相关的内容,而不是有效的内容
一篇文章讨论了AI智能体为何经常重复犯错,因为其记忆检索机制更注重语义相似性而非有效性,导致有缺陷的决策。
无评估可捕捉的智能体失败模式:使用缓存的过时事实
讨论AI智能体可靠性中的一个盲点:缓存在获取时是真实的事实,但在使用时已经过时,导致一致但不正确的行为。提出将一致性(与源匹配)与时效性(源目前仍然真实)分开,并询问社区如何处理这个问题。
没有停止策略的AI智能体只是一个昂贵的循环
关于AI智能体可靠性的实用说明,主张生产环境中的智能体需要明确的门控机制,包括证据阈值、重试预算和影响评估,而不是仅依赖记忆来确定任务是否完成。