智能体不会忘记事实。它们忘记的是决策。这是两个不同的问题

Reddit r/AI_Agents 新闻

摘要

讨论AI智能体忘记的是决策而非事实的问题,并提出一个系统:智能体检查已有决策,提出新决策等待批准,并通过门控管理流程以防止漂移和错误级联。

大多数记忆实现存储的是智能体知道的内容。这有用,但单元不对。事实会变化,决策会叠加。决策不仅仅是信息,它是:基于这些数据,某人(或某物)选择了这个方向。它有作者、依据和后果。一旦做出,它应该影响后续的一切。真正有效的模式是:在智能体行动前,先检查:这个领域已有哪些决策?如果其他智能体已经解决了这个问题,就没有必要重复推理。如果没有决策覆盖,智能体就提出一个,保存等待批准,然后等待。一旦批准,该决策进入参考层。此后该上下文中的每个未来智能体都以此为基础启动。具体版本:智能体想重构一个模块。查询:是否有人决定过这个模块的行为?是的,三个会话前:这个模块必须保持无状态。智能体在其范围内工作。无冲突,无漂移。或者:智能体即将决定错误处理策略。该领域没有记录。提出建议,链接到它推理所依据的数据,提交审批。人工审核。批准。下一个智能体无需重新考虑。这赋予了智能体创作自由而不引发混乱。它们不会质疑已确定的领域,而是以此为基础进行建设。但仅有决策不够。基于过时数据的决策仍然是过时的决策。这就是大多数多智能体设置失败的地方:它们管理上下文,而非流程。管理流程意味着:状态在验证之前不会推进。智能体之间设有评审门控。只有在前一个输出被确认为最新且已批准时,下一个阶段才会触发。一个检查点就能在错误级联开始前阻止它,因为智能体B永远不会对智能体A在过时现实下产生的结果进行操作。管理流程,而不仅仅是上下文。决策保持诚实,漂移停止。而且由于每个决策都链接到其依据,你可以追踪完整的血统:谁决定的,他们看到了什么,何时做的。Git blame 用于判断调用。你可以更进一步:定期安排一个智能体遍历决策树。对于每个决策:其依据的数据是否仍然最新?是否有任何变化会使这个决策失效?标记已漂移的内容。在下一次智能体遇到它之前,将其提交审查。这是你决策层的持续集成。
查看原文

相似文章

无评估可捕捉的智能体失败模式:使用缓存的过时事实

Reddit r/AI_Agents

讨论AI智能体可靠性中的一个盲点:缓存在获取时是真实的事实,但在使用时已经过时,导致一致但不正确的行为。提出将一致性(与源匹配)与时效性(源目前仍然真实)分开,并询问社区如何处理这个问题。