你的设置中有任何东西能跟踪学习到的工作流程是否真的有效吗?
摘要
作者质疑现有的代理内存设置是否跟踪学习到的工作流程的成功率,并提出了他们使用计数器和进化日志的方法,寻求该领域的现有技术或惯例。
我研究过的大多数代理内存设置存储的是代理应该做什么。没有一个存储它是否有效。具体来说:我的代理学习了一个部署工作流程,然后在一次错误运行后进行了修订。没有任何记录表明原始版本成功运行了十一次,而新版本从未运行过。它只是遵循最新的内容。所以我开始为每个学习到的工作流程保留一个计数器:
version: 3 success_count: 11 fail_count: 1
# 部署到 Railway(v3,92% 可靠)
## 步骤
1. 推送到 main - webhook 会处理其余部分
2. 监视启动日志
3. 验证 /health - 期望在 60 秒内返回 200
## 进化
- v1 -> v2: 添加了健康检查
- v2 -> v3: 在探测前等待池
一旦我这样做了,两件事发生了变化。代理可以区分一个经历了十一次部署的工作流程和一个某人写下来但从未运行过的。在此之前,两者对它来说看起来是一样的。进化日志回答了“为什么是这样”,这比步骤本身更有用。一个步骤通常存在是因为某件事失败了一次,而这个原因阻止了代理将其简化回去。我无法确定是否有人也这样做。我查看了 markdown 内存项目(EverOS、basic-memory、iwe、understory)和程序内存论文(MACLA、PRAXIS、Memp)。这些论文孤立地评估学习到的技能,而我阅读的工具存储步骤时完全没有结果记录。这让我觉得要么是我在错误的地方寻找,要么是错过了一个明显的理由不去麻烦。所以,有两个问题:你的设置是否跟踪学习到的程序的结果?如果存在现有惯例,我宁愿采用它而不是发明第四个。如果你故意决定不跟踪,为什么?过时的计数器、游戏化、实现结果的成本?披露:我构建一个内存产品,所以我在这里并不中立。我是在寻找现有技术而不是推销,但如果有必要,我很乐意在评论中分享我最终得到的东西。
相似文章
在用户发现故障之前,你如何对智能体工作流进行回归测试?
作者询问开发者如何对AI智能体工作流进行回归测试,指出了常见的故障模式,并分享了他们在Runme中添加评估支持的工作,用于记录任务、对轨迹进行评分以及与基准进行比较。
我问大家如何处理智能体记忆。以下是回复中的模式,以及无人真正解决的一个问题。
关于智能体记忆的社区讨论显示,尽管在记录什么(如纯文本文件、分层记忆、事后总结)方面存在各种补丁方案,但未解决的问题是保留什么——检测失败是可处理的,但决定哪些教训应持续保留仍需要人类判断。
我一直在尝试自定义智能体,有趣的部分并非任务完成,而是它们拥有记忆后发生的变化
作者反思了实验自定义 AI 智能体的经历,指出长期记忆和连续性将智能体从简单的任务执行者转变为具有“稳定倾向”的持久协作伙伴。这引发了关于智能体“个性”的价值与工作流程中控制、可靠性和可审计性需求之间的矛盾的问题。
如何管理代理记忆而不让其变成杂物抽屉?
关于管理AI系统中代理记忆的实际挑战的讨论,侧重于避免信息过载导致输出质量下降,并提出使用工作流状态和多代理架构等策略。
我们是否把太多工作流程称为“智能体”?
作者质疑许多所谓的AI智能体是否更适合被称为工作流程,并认为对于可重复的浏览器任务,定义好的工作流程可能比每次重新解释步骤的智能体更可靠。