我为AI智能体构建了一个语义错误记忆层,并将其发布到PyPI上

Reddit r/AI_Agents 工具

摘要

DriftGuard是一个PyPI包,为AI智能体添加了一个语义记忆层,使其能够记住过去的错误,并通过将提议的操作与过去失败的图谱进行比较来避免重复犯错。

在我构建的每个智能体流程中,我总是遇到同样的问题。智能体会犯错,你给它反馈,它会修正,但三次运行后又会犯完全相同的错误。它没有关于哪里出错的记忆。每次运行都是全新的开始。我构建了DriftGuard来解决这个问题。 思路很简单:它位于意图与执行之间。在你的智能体采取行动之前,DriftGuard会将提议的操作与过去失败的语义图谱进行比对。如果发现与过往错误相似的内容,它会在操作运行前发出警告。执行后,你记录结果,图谱会变得更智能。所以,如果你的智能体曾经在没有备份的情况下执行了破坏性数据库迁移,你记录了这一点,那么下次它提出语义上类似的操作时,会在运行前被标记。不是通过精确字符串匹配,而是通过含义。 我希望能做到以下几点: - 安全策略可根据步骤配置。warn仅显示警告,由智能体自行决定。block会抛出异常并硬停止。acknowledge需要明确确认。record_only跳过审查,仅存储记忆。你可以根据每个操作愿意承担的风险程度进行选择。 - 记忆图谱会自动合并释义变体。如果智能体用五种不同方式表述同一错误,它们会合并为一个节点。图谱不会无限增长,过时且弱化的记忆会按计划被修剪。 - 它可以作为独立的MCP服务器运行,或者直接作为审查节点集成到LangGraph中。我努力使其能够适应你现有的任何流程。 pip install driftguard-ai 目前仍处于早期阶段,但已可正常使用。欢迎反馈,特别是来自那些构建长时间自主运行智能体的开发者。这正是我构建它的用例场景。
查看原文

相似文章

误判鸿沟:当记忆投毒在自主AI系统中看似模型故障

arXiv cs.AI

本文识别了多智能体AI流水线中的一种结构性缺陷,即记忆层攻击可能被误判为模型失调,形式化定义了语义规范漂移(SND),并提出反事实组合测试(Counterfactual Composition Testing)和持久记忆信息流控制(Memory-Persistent Information-Flow Control)作为防御措施。