智能体不会忘记事实。它们忘记的是决策。这是两个不同的问题

Reddit r/AI_Agents 新闻

摘要

讨论AI智能体忘记的是决策而非事实的问题,并提出一个系统:智能体检查已有决策,提出新决策等待批准,并通过门控管理流程以防止漂移和错误级联。

大多数记忆实现存储的是智能体知道的内容。这有用,但单元不对。事实会变化,决策会叠加。决策不仅仅是信息,它是:基于这些数据,某人(或某物)选择了这个方向。它有作者、依据和后果。一旦做出,它应该影响后续的一切。真正有效的模式是:在智能体行动前,先检查:这个领域已有哪些决策?如果其他智能体已经解决了这个问题,就没有必要重复推理。如果没有决策覆盖,智能体就提出一个,保存等待批准,然后等待。一旦批准,该决策进入参考层。此后该上下文中的每个未来智能体都以此为基础启动。具体版本:智能体想重构一个模块。查询:是否有人决定过这个模块的行为?是的,三个会话前:这个模块必须保持无状态。智能体在其范围内工作。无冲突,无漂移。或者:智能体即将决定错误处理策略。该领域没有记录。提出建议,链接到它推理所依据的数据,提交审批。人工审核。批准。下一个智能体无需重新考虑。这赋予了智能体创作自由而不引发混乱。它们不会质疑已确定的领域,而是以此为基础进行建设。但仅有决策不够。基于过时数据的决策仍然是过时的决策。这就是大多数多智能体设置失败的地方:它们管理上下文,而非流程。管理流程意味着:状态在验证之前不会推进。智能体之间设有评审门控。只有在前一个输出被确认为最新且已批准时,下一个阶段才会触发。一个检查点就能在错误级联开始前阻止它,因为智能体B永远不会对智能体A在过时现实下产生的结果进行操作。管理流程,而不仅仅是上下文。决策保持诚实,漂移停止。而且由于每个决策都链接到其依据,你可以追踪完整的血统:谁决定的,他们看到了什么,何时做的。Git blame 用于判断调用。你可以更进一步:定期安排一个智能体遍历决策树。对于每个决策:其依据的数据是否仍然最新?是否有任何变化会使这个决策失效?标记已漂移的内容。在下一次智能体遇到它之前,将其提交审查。这是你决策层的持续集成。
查看原文

相似文章

AI代理没有智能问题,它们有状态管理问题

Reddit r/AI_Agents

文章认为,AI代理在生产中的大多数故障是由于不稳定的运行状态和内存退化造成的,而非模型能力不足,并强调需要更好的基础设施来支持状态管理、可观测性和自适应可靠性。

智能体记忆不仅仅是基于用户事实的RAG

Reddit r/AI_Agents

文章认为,简单的基于RAG的智能体记忆系统在生产中会失败,原因包括过时的偏好、遗漏的关键词和提示注入等问题,并主张采用分层记忆架构,具备主动选择、确定性回退、治理和测试等功能。